強化學(xué)習(xí)工業(yè)控制技術(shù)研究：南棲仙策編寫《強化學(xué)習(xí)控制白皮書》

　　能源與流程工業(yè)制造是國民經(jīng)濟(jì)的支柱產(chǎn)業(yè)，伴隨著過去幾十年工業(yè)制造的高速發(fā)展，我國工業(yè)生產(chǎn)面臨的能耗高、資源消耗高、產(chǎn)品附加值低、環(huán)境污染等問題越來越突出，亟需通過最新的人工智能技術(shù)來推動流程工業(yè)制造高效化、綠色化、智能化發(fā)展。

　　強化學(xué)習(xí)是一種數(shù)據(jù)驅(qū)動的決策技術(shù)，具有自主學(xué)習(xí)、高度非線性等特性，可有效應(yīng)對工業(yè)控制面臨的一系列難題。南棲仙策作為強化學(xué)習(xí)AI智能決策應(yīng)用的領(lǐng)軍者，將強化學(xué)習(xí)應(yīng)用于工業(yè)控制任務(wù)，產(chǎn)生了多個落地案例。南棲仙策團(tuán)隊將強化學(xué)習(xí)應(yīng)用的經(jīng)驗總結(jié)編寫了《強化學(xué)習(xí)控制白皮書》(以下簡稱為《白皮書》，《白皮書》結(jié)合實際案例，對強化學(xué)習(xí)在工業(yè)控制中的應(yīng)用過程進(jìn)行了介紹，并展示了強化學(xué)習(xí)帶來的優(yōu)勢。

　　白皮書共分為三個部分

　　第一部分：概述流程工業(yè)生產(chǎn)控制的挑戰(zhàn)

　　現(xiàn)有的工業(yè)生產(chǎn)管理流程，多個環(huán)節(jié)由人工把控，依賴經(jīng)驗知識且響應(yīng)速度緩慢。過程控制基于經(jīng)典控制算法，在大范圍動態(tài)條件復(fù)雜系統(tǒng)的優(yōu)化控制問題上存在不足。系統(tǒng)運維缺乏數(shù)據(jù)支撐，故障難預(yù)警、風(fēng)險不可控，常造成企業(yè)產(chǎn)品不夠穩(wěn)定、生產(chǎn)線持續(xù)性不夠高、產(chǎn)量波動的應(yīng)對能力不足、生產(chǎn)損耗過大成本難以控制等問題。

　　第二部分：介紹南棲仙策強化學(xué)習(xí)工具的優(yōu)勢

　　南棲全球領(lǐng)先的數(shù)據(jù)驅(qū)動強化學(xué)習(xí)工具POLIXIR REVIVE提供了數(shù)據(jù)模擬環(huán)境和強化學(xué)習(xí)優(yōu)化技術(shù)，在火力發(fā)電、化工生產(chǎn)、自來水/污水生產(chǎn)處理等多個工業(yè)場景帶來了不同的能力，與MPC(Model Predictive Control)的對比為例，闡述了在系統(tǒng)建模方法、系統(tǒng)模擬能力、控制策略能力上更具有實施快、成本低、建模靈活、適用面廣、實用性強等特點。在實施上，南棲通過云端協(xié)同架構(gòu)，實現(xiàn)了POLIXIR REVIVE與ReinOptima工業(yè)邊緣控制器的聯(lián)動。通過云端協(xié)同架構(gòu)，當(dāng)ReinOptima的預(yù)測性維護(hù)模塊識別出系統(tǒng)發(fā)生偏移時，自動將歷史數(shù)據(jù)傳輸?shù)絉EVIVE系統(tǒng)更新虛擬環(huán)境模型和控制策略，實現(xiàn)對環(huán)境變化的自動適應(yīng)和持續(xù)的自我學(xué)習(xí)與進(jìn)化。

　　第三部分：南棲仙策技術(shù)優(yōu)勢與場景應(yīng)用案例

　　《白皮書》通過實際案例分別對能源與流程工業(yè)制造"高精度控制、高穩(wěn)定控制、大滯后控制、全局目標(biāo)控制"四個不同維度的需求進(jìn)行了詳細(xì)解讀。

　　>>高精度控制

　　傳統(tǒng)人工控制增壓泵房的給水，經(jīng)常導(dǎo)致水量和能耗過高或過低。通過POLIXIR REVIVE產(chǎn)生的泵頻控制策略，可大大降低出口流量與目標(biāo)流量差值，達(dá)到系統(tǒng)所期望的精準(zhǔn)控制，并與歷史同時期千噸水電耗相比，節(jié)省電耗約 7.16%，有效提高了泵房的經(jīng)濟(jì)效益。

　　>>高穩(wěn)定控制

　　在燃煤火電機(jī)組控制中，由于外部擾動，導(dǎo)致主蒸汽溫度長期不穩(wěn)定。傳統(tǒng)的PID控制存在嚴(yán)重的過調(diào)、延遲等問題，導(dǎo)致超溫、溫度過低等情況出現(xiàn)，影響發(fā)電效率等。通過POLIXIR REVIVE產(chǎn)生的溫控策略，可將出口溫度有效控制在一定范圍內(nèi)，并幫助節(jié)省燃煤 0.06%，保障穩(wěn)定的同時延長了設(shè)備的使用壽命。

　　>>大滯后控制

　　在磨煤機(jī)生產(chǎn)過程中，由于目標(biāo)出口煤粉溫度與控制風(fēng)量之間存在較長的時間差，整體系統(tǒng)存在滯后性、長距離控制等問題，以及風(fēng)速測不準(zhǔn)導(dǎo)致風(fēng)速控制器的 PID 控制失效。通過POLIXIR REVIVE產(chǎn)生的冷熱一次風(fēng)擋板位控制策略，可使出口風(fēng)粉溫度分布更貼近目標(biāo)溫度，系統(tǒng)運行工況更加穩(wěn)定。

　　>>全局目標(biāo)控制

　　循環(huán)水泵的優(yōu)化控制難點體現(xiàn)在需全局考慮整鍋爐運行流程，尋找最優(yōu)的耗電-發(fā)電平衡點，PID控制難以實現(xiàn)，通過POLIXIR REVIVE產(chǎn)生的循環(huán)水泵控制策略，可在330MW熱電聯(lián)產(chǎn)機(jī)組循環(huán)水泵控制中，將整體指標(biāo)值降低約0.53，相較于PID控制策略，節(jié)能提升3.52%。