基于強化學習的重介質選煤過程優化控制

　　摘 要: 決定重介質選煤產品質量的主要影響因素是重介質懸浮液密度。 但是由于過程復雜, 設備眾多, 呈強非線性特性, 導致對實現重介質懸浮液密度的優化控制存在難點。 為此, 針對重介質選煤過程及其特性, 提出了一種基于強化學習的優化控制方法, 用于在線更新密度設定值。 所提方法將策略提升和策略評價兩步迭代采用不同的神經網絡實現, 建立了無模型的控制器。 最后, 在 MATLAB 仿真平臺上, 將該方法與傳統 PI 控制方法相比較, 驗證了所提方法的有效性。

　　關鍵詞: 重介質選煤; 懸浮液密度; 強化學習; 優化控制

　　胡金良; 李彤昀; 王光輝 煤炭工程 2021-12-30

　　在我國的能源消耗中, 煤炭資源占據著很大的比例。 雖然新興能源的發展在一定程度上緩解了煤炭供給壓力, 但我國以煤炭資源為主的能源結構仍未改變。 煤炭洗選是煤炭生產利用過程中的重要一環, 提升煤炭洗選效率具有意義深遠[1,2] 。重介質淺槽分選是我國常用的選煤工藝, 具有分選精度高、 效率好的特點。 重介質選煤過程受設備的各種工藝參數影響[3] , 但是在實際的選煤工藝中, 對精煤質量起決定性作用的是重介質懸浮液密度。 此外灰分是衡量重介質選煤精煤質量的關鍵指標。 因此, 通過調節重介質懸浮液密度, 實現對精煤灰分的控制是重介質選煤過程優化控制的主要方法。 因此, 諸多學者針對調節重介質旋流器懸浮液密度, 實現成品煤灰分控制問題開展了研究, 取得豐碩的成果。

　　文獻[4] 針對可建模的重介質選煤過程, 提出了一種基于模型預測控制的重介質懸浮液密度在線優化方法, 并通過仿真實驗驗證了對灰分控制的有效性。 文獻[5] 在模型預測控制算法中引入前饋控制環節, 增強控制系統的魯棒性。 但是重介質選煤過程動態時變, 呈強非線性[6,7] , 采用上述基于模型的控制方法較難實現實時控制。 因而已有采用數據驅動的方法進行優化控制[8] 。 文獻[9] 通過離線采集的歷史數據, 利用時間序列的最小二乘支持向量機, 建立了密度給定模型。 文獻[10]利用歷史數據訓練神經網絡模型, 提出一種寬域運行優化控制方法。 但是上述方法僅考慮對已出現工況進行控制設計, 缺乏對未知工況自學習能力。 因此, 為了提升精煤灰分產量控制精度和系統響應速率, 提高控制系統自學習能力, 本文采用基于強化學習的神經網絡方法對重介質選煤過程優化控制。

　　1 重介質選煤過程及其優化控制問題分析 1. 1 重介質選煤過程

　　本文針對重介質選煤工藝中的重介質淺槽分選工藝進行研究, 其主要包括混料桶、 分選槽、 排矸刮板和各種儀器儀表。 其工藝流程如圖 1 所示。

　　在實際生產過程中, 原煤與重介質懸浮液混合后, 泵送入分選槽。 在排矸刮板擾動的過程中, 高密度物(尾礦) 下降并通過排放口排出, 輕密度物(精礦)上升并從溢流堰溢出, 剩余的重介質懸浮液將與高濃度的介質水混合, 形成密度相對穩定的合格介質, 并再次與新的原料混合, 重復上述過程[11,12] 。不同儀器的型號和運行模式, 運行狀態的各種工藝參數均或多或少影響最終的分選效果。 如排矸刮板的渦流方向, 當其與矸石沉降方向相同時, 對分選效果是有益的; 當其與矸石沉降方向相反時, 會阻礙分選[3] 。

　　1. 2 重介質選煤過程控制難點

　　1) 強非線性。 煤炭重介質選效果主要取決于重介質懸浮液密度的高低, 但其與凈煤灰分并不是簡單的線性關系。 又因為混合礦漿的流速與原煤的進料速度也呈現非線性特性, 因此難以采用基于模型的優化控制方法。

　　2) 動態時變性。 原煤的成分并不是一成不變的, 所含有的雜質、 粒度均持續波動。 當重介質懸浮液狀態時變時, 其壓力密度也會受其影響, 排矸刮板等設備運行參數需相應調整, 否則會使得系統處于非經濟最優狀態。

　　重介質選煤過程的強非線性與動態時變性導致無法建立有效的機理模型, 現有基于模型的優化控制方法難以進行實時過程優化。 基于強化學習的過程優化控制方法, 能夠根據重介質選煤運行的歷史數據求解最優控制, 從而有效解決上述問題[13,14] 。

　　2 重介質選煤過程優化控制 2. 1 過程優化控制問題

　　本文在重介質懸浮液密度回路控制基礎上, 通過建立運行優化層實現對重介質懸浮液密度設定值優化, 從而穩定控制精煤灰分, 保證選煤產品的質量。 實際工業運行優化層動態特性復雜, 以連續時間非線性系統模型進行描述: r · (t) = f(r(t)) + g(t)w(t) (1) 其中, r 為實際運行時的系統指標值; w 為系統的輸入; f(t)和 g(t)表示運行優化層的動態特性。對系統方程進行離散化處理, 可得: r(k + 1) = f(r(k)) + g(r(k))w(k) (2) 為使運行優化層實際系統指標能夠快速跟蹤期望設定值, 通過建立性能評價指標函數, 調節輸入參數 w, 最終實現實際運行指標在理想值附近穩定運行。 考慮跟蹤誤差盡可能為 0 且限制控制輸入的變化浮動不大, 從而避免設定值過大, 導致系統不穩定, 其評價函數定義: min w(k) J(k) = ∑ ∞ i = k γ i-k ((r ∗ i - ri) TQ(r ∗ i - ri) + w T i Rwi) (3) 式中, γ 為實際運行過程中的歷史數據對當前運行指標評價影響的衰減程度, 0<γ<1; Q 和 R 分別為半正定和正定矩陣, 從而保證系統在期望值附近穩定時, 評價指標將接近于定值。

　　2. 2 基于強化學習的設定值優化控制策略

　　為便于求解, 定義廣義被控對象為 ζ(m+1) = r(m+1) r ∗ (m+1) é ë ê ê ù û ú ú , 將其代入式 ( 3) 可以表示為值函數形式: V(ζk) = ∑ ∞ i = k γ i-k (ζi TQ1 ζi + w T i Rwi) = def ∑ ∞ i = k γ i-kUi (4) 其中, Q1 = [I -I] TQ[I -I]。 根據式(4), 從而將求解評價函數最小值的問題, 轉為解非線性過程的 Bellman 方程, 其方程: V(ζk) = Uk + ∑ ∞ i = k+1 γ i-kUi = Uk + γV(ζk+1 ) (5) 從而求解 LQR 問題的 Hamilton 函數: H(ζk, wk) = Uk + γV(ζk+1 ) - V(ζk) (6) 根據 Bellman 原理, 最優值函數滿足離散時間 HJB(Hamilton-Jacobi-Bellman, HJB)方程: V ∗ (ζk) =min w(k) (Uk + γV ∗ (ζk+1 )) (7) 可得求解最優控制率需滿足[15] :