《智慧灌溉決策的強化學習方法-武漢大學水利水電學院陳夢婷》-農業水土工程專業學術研討會

這個課題是在羅玉峰教授指導下，由博士生陳夢婷完成，論文已經發表在科學導報ScienceDirect 上：https://doi.org/10.1016/j.agwat.2021.106838

論文主要是想通過學習歷史上灌區區域的降水量來進行灌溉決策，學習歷史的降水量采用的是強化學習方法。強化學習方法與一般的學習方法不同，一般的機器學習方法有兩種，一種就是有監督學習，一種是無監督的學習，但是強化學習方法完全沒有監督和有監督的說法，它就是一個通過歷史數據分析，在追求利益最大化的原則下進行學習。完全是機器自主學習，不用人工干預，再設定標志等參數。

這個研究的意義在于充分利用降雨的水量來進行農業灌溉，這是農業節水的有效途徑，因為通過天氣預報制定未來降雨情況下的灌溉決策，可以以提高降雨水量的灌溉利用率，但是同時也存在著風險，這個風險就是如果天氣預報不準確或不確定，那么我們有可能就會面臨著作物由于得不到合適的灌溉而減產的風險，但是可以通過強化學習方法可以減少水稻灌溉決策風險。

強化學習里面涉及的兩個主體，一個叫做智能體，一個叫做環境，環境得到的狀態通過獎賞來判斷，然后通過設定動作來調整算法參數，環境E涉及到狀態空間S，獎賞函數R，動作空間A，轉移概率P。

狀態空間S為待灌溉區域決策周期內，作物生長期的某一天的環境參數狀態，向量表達見:

動作空間A為關鍵決策的選項，當前動態決策周期t的決策變量有三種，a0為不灌溉，a1為灌溉至灌水上限的一半，a2為灌溉至上灌水的上限值。

轉移函數P為在決策周期內執行灌溉決策后，環境從當前狀態轉移到另一個狀態，包括作物蒸散發量的更新，未來預報天氣數據的更新，土壤含水量或水層深度的變化，水層深度轉移概率可以表達為:

獎賞函數R為決策周期內執行灌溉決策后，環境從當前狀態轉移到另一個狀態時反饋的獎勵，獎賞函數表示式為。

環境參數修正，根據實際氣象條件和灌溉決策修正環境狀態參數，水層深度的修正公式為:

節水效果與常規決策相比，采用強化學習灌溉決策，灌水次數，灌水量，排水量總體少于常規角色，早、中和晚稻灌水次數平均分別減少1.4次、0.6次和1.3次平均節水率分別為23% 、6%和3%排水平均分別減少7%、 8%和9%，未出現減產情況。

結論

天氣預報的天氣類型含有降雨信息，可用于灌溉決策的制定，但會存在漏報和空報的情況，與常規決策相比，采用強化學習灌溉決策，灌溉次數，灌溉水量和排水量均有明顯降低，平均分別減少1.0次，23毫米和21毫米。

強化學習灌溉決策，能夠在訓練后總結前面的灌溉分析結果，并根據當前的田間水分狀況和天氣預報信息，制定出合適的灌溉決策，從而提高降水利用率和節約灌溉用水。

文章來源于網絡，如有侵權請聯系我們刪除。