華南理工大學(xué) 程樂峰，余濤等：機器學(xué)習(xí)在能源與電力系統(tǒng)領(lǐng)域的應(yīng)用和展望

一、研究背景

新一代人工智能（AI 2.0）近年來成為國內(nèi)外研究的熱點，其結(jié)合大數(shù)據(jù)、超級計算等新理論新技術(shù)正深刻影響和改變整個世界的電力與能源產(chǎn)業(yè)，并在涵蓋智能電網(wǎng)與能源互聯(lián)網(wǎng)的能源與電力系統(tǒng)（EEPS）中發(fā)揮巨大潛力，將驅(qū)動電力、能源和信息產(chǎn)業(yè)的深度融合，形成具有“智慧思維”和“信息-物理-社會融合（CPSS）”的EEPS，開啟未來基于“工業(yè)4.0”、“能源5.0”、“AI 2.0+”的“智慧EEPS(Smart-EEPS)”新時代。

當(dāng)前，國外紛紛制定人工智能（AI）發(fā)展計劃以搶占新一輪科技變革的先機。在我國，新一代AI已上升為國家發(fā)展戰(zhàn)略，加快發(fā)展新一代AI是事關(guān)我國能否抓住新一輪科技革命和產(chǎn)業(yè)變革機遇的戰(zhàn)略問題，是具有溢出帶動性很強的“頭雁”效應(yīng)。近年來，國家電網(wǎng)有限公司在電網(wǎng)領(lǐng)域相繼開展了AI應(yīng)用的可行性和關(guān)鍵技術(shù)研究，并成立了AI應(yīng)用研究所；中國電力科學(xué)研究院有限公司則提出了打造“電網(wǎng)AlphaGo”的理念，以最終實現(xiàn)AI在電網(wǎng)中的深度應(yīng)用。因此，發(fā)展AI 2.0在中國具備良好基礎(chǔ)，AI 2.0未來在EEPS領(lǐng)域?qū)⒋笥杏梦渲亍?/span>

作為AI 2.0中的典型代表——機器學(xué)習(xí)(ML)，其本質(zhì)是一個算法范疇，通過分析和學(xué)習(xí)大量已有或生成數(shù)據(jù)形成預(yù)測和判斷以做出最佳決策。為此，本文以AI 2.0中的機器學(xué)習(xí)為例，從強化學(xué)習(xí)、深度學(xué)習(xí)、遷移學(xué)習(xí)、平行學(xué)習(xí)、混合學(xué)習(xí)、對抗學(xué)習(xí)和集成學(xué)習(xí)等7個方面，對其在能源與電力系統(tǒng)調(diào)度優(yōu)化和控制決策中的應(yīng)用進行綜述研究，旨在引起業(yè)內(nèi)專家學(xué)者的興趣，期待在理論、方法和技術(shù)研究及應(yīng)用實踐方面共同推進新一代AI中的ML技術(shù)在未來“智慧EEPS”中的蓬勃發(fā)展！

二、關(guān)鍵技術(shù)要點

2.1強化學(xué)習(xí)

強化學(xué)習(xí)（RL）為ML中一個重要的研究領(lǐng)域，屬于主動學(xué)習(xí)的一種，其本質(zhì)上是一種在環(huán)境中“審時度勢”地學(xué)習(xí)策略的過程，強調(diào)如何基于環(huán)境（state）而行動（action），以取得最大化的預(yù)期收益（reward）。近20年來，以馬爾可夫決策（MDP）為嚴格數(shù)學(xué)基礎(chǔ)的RL算法成為ML領(lǐng)域一個新的突破，許多經(jīng)典的RL算法被國內(nèi)外學(xué)者陸續(xù)應(yīng)用于EEPS領(lǐng)域中，并日益受到國際ML和智能控制學(xué)術(shù)界的重視。RL在安全穩(wěn)定控制、自動發(fā)電控制、電壓無功優(yōu)化控制、最優(yōu)潮流控制、供需互動、電力市場、電力信息網(wǎng)絡(luò)等方面的研究和應(yīng)用頗多，尤其在電力系統(tǒng)調(diào)度控制決策中頗具潛力。但RL在處理EEPS大規(guī)模優(yōu)化和控制決策問題時易出現(xiàn)“維數(shù)災(zāi)”，使得可行解探索困難。尤其是當(dāng)狀態(tài)空間很大時，將導(dǎo)致計算成本過高，需要與環(huán)境進行大量交互從而獲得反饋用以更新模型，學(xué)習(xí)效率其實并不很高。因此，近年來，很多學(xué)者開始將RL與多Agent系統(tǒng)、其他ML方法、經(jīng)典控制方法、智能控制理論等相結(jié)合，已在多Agent系統(tǒng)協(xié)商學(xué)習(xí)、分布式發(fā)電系統(tǒng)與微電網(wǎng)、多能源綜合系統(tǒng)、電力系統(tǒng)控制、負荷預(yù)測與負荷調(diào)度、繼電保護等領(lǐng)域開展了深入研究。未來RL理論的決策和自學(xué)習(xí)特性、與其他ML方法可有效集成的特性，以及在線學(xué)習(xí)技術(shù)等將有利于其在EEPS應(yīng)用領(lǐng)域的進一步發(fā)展。

2.2深度學(xué)習(xí)

深度學(xué)習(xí)（DL）本質(zhì)上是具有多層隱藏層的神經(jīng)網(wǎng)絡(luò)，是一種特定類型的典型ML，其基本思想是通過多層的網(wǎng)絡(luò)結(jié)構(gòu)和非線性變換，組合低層特征，形成抽象的、易于區(qū)分的高層表示，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。近年來，為了提高深度神經(jīng)網(wǎng)絡(luò)(DNN)的訓(xùn)練效果，降低DNN的優(yōu)化難度，一些特有的DL模型和框架被相繼提出，如SAE、DBN、RNN、CNN、深度森林、超深度學(xué)習(xí)等。目前，在EEPS領(lǐng)域，DL的研究與應(yīng)用已初步展開，主要涵蓋智能輸電系統(tǒng)的一次設(shè)備（如發(fā)電機、變壓器、斷路器等）的故障診斷、電力系統(tǒng)暫態(tài)穩(wěn)定評估、電力大數(shù)據(jù)融合與異常檢測、短期電力負荷預(yù)測、電力設(shè)備圖像識別、電力信息網(wǎng)入侵檢測、智能發(fā)電的功率預(yù)測、智能輸電系統(tǒng)的分析與控制等。近年來，DL與其他ML結(jié)合形成了功能更強的高級混合ML算法，并已在EEPS領(lǐng)域中得到了初步應(yīng)用?？偟膩碚f，DL在EEPS領(lǐng)域中正扮演極其重要的角色，并將引領(lǐng)新變革。當(dāng)然，也應(yīng)認識到DL的缺陷，需在實際工程問題中進行改進，例如“梯度彌散”現(xiàn)象、模型驗證、復(fù)雜多數(shù)據(jù)模態(tài)建模等。

2.3遷移學(xué)習(xí)

遷移學(xué)習(xí)（TL）強調(diào)的是在不同但相似的領(lǐng)域、任務(wù)和分布之間進行知識的遷移，早期研究有終生學(xué)習(xí)、多任務(wù)學(xué)習(xí)、知識遷移等。在EEPS領(lǐng)域，在求解UC、ED、AVC等高維NLP問題過程中，TL旨在根據(jù)任務(wù)間的相似性，利用在輔助領(lǐng)域過去所學(xué)習(xí)到的經(jīng)驗（知識或策略）和結(jié)果應(yīng)用到相似但不相同的目標領(lǐng)域中進行學(xué)習(xí)，復(fù)用已有經(jīng)驗以加速新任務(wù)的學(xué)習(xí)速度，可有效提高新任務(wù)的學(xué)習(xí)效率和算法的收斂性。目前，TL已在無功優(yōu)化、負荷預(yù)測、風(fēng)速預(yù)測、碳能復(fù)合流分散優(yōu)化、風(fēng)險調(diào)度、源-荷協(xié)同頻率控制、供需互動實時調(diào)度、AGC功率指令動態(tài)分配等方面得到初步應(yīng)用。近年來，有關(guān)學(xué)者還嘗試將DRL與TL結(jié)合用來訓(xùn)練深度策略網(wǎng)絡(luò)。例如，在深度Q-學(xué)習(xí)網(wǎng)絡(luò)中引入TL來加快收斂速度，以提高學(xué)習(xí)性能?？偟膩碚f，對于EEPS領(lǐng)域中不連續(xù)可微、含多極值、多約束的凸或非凸的NLP問題，引入TL能夠?qū)v史優(yōu)化任務(wù)的有效信息轉(zhuǎn)化到值函數(shù)中，從而實現(xiàn)快速的在線優(yōu)化。在進行工程問題研究時，TL收斂性證明比較困難、遷移過程中出現(xiàn)的不穩(wěn)定性等是亟待攻克的難題。

2.4平行學(xué)習(xí)

平行學(xué)習(xí)（PL）是王飛躍教授等提出的一個新型的ML理論框架，融合了預(yù)測學(xué)習(xí)、集成學(xué)習(xí)和指示學(xué)習(xí)，是一個把“小數(shù)據(jù)”炒成“大數(shù)據(jù)”，再把“大數(shù)據(jù)”提煉成解決具體問題的精準知識的“小智能”的過程，即“小數(shù)據(jù)、大定律”到“大數(shù)據(jù)、小定律”的過程。由于PL近年來才提出，其很多細節(jié)之處尚需完備的理論證明。近年來，PL在EEPS已有初步應(yīng)用，如分布式能源系統(tǒng)運行優(yōu)化、火力發(fā)電廠智能監(jiān)控和平行管理規(guī)劃等。未來，在“工業(yè)4.0”和“能源5.0”背景下，PL結(jié)合“平行智能”和“平行能源和社會能源”等理念在綜合能源系統(tǒng)IoM建設(shè)、EEPS平行“調(diào)度機器人”研究、人工電力系統(tǒng)搭建、基于區(qū)塊鏈技術(shù)的智能分布式電力能源系統(tǒng)建模、核電系統(tǒng)仿真等方面將具有很大的應(yīng)用潛力，期待取得突破性進展。

2.5混合學(xué)習(xí)

混合學(xué)習(xí)（HL）表示將至少兩種優(yōu)勢互補的ML方法集成或綜合為一種性能更強的ML，其典型代表是DRL。近年來，有關(guān)學(xué)者已將DL、RL、TL及啟發(fā)式搜索SI算法、策略式搜索智能算法等方法進行級聯(lián)組合形成多種高級HL算法，用于求解EEPS領(lǐng)域的優(yōu)化和控制問題。在所有HL算法中，將DL作為“感知”與RL作為“決策”結(jié)合形成HL的一對“黃金組合”——DRL，已被許多學(xué)者研究并應(yīng)用到EEPS領(lǐng)域中來，如緊急狀態(tài)下的電網(wǎng)切機控制策略制定等?？偟膩碚f，HL代表了一種混合增強智能，其雖可充分發(fā)揮各類ML算法的優(yōu)勢，但也存在可解釋性差、穩(wěn)定性無法得到有效保證、不能很好應(yīng)用到非MDP問題、收斂性無法提供嚴格理論證明等缺陷，因此，未來HL在EEPS領(lǐng)域的研究需著重關(guān)注這些問題。

2.6對抗學(xué)習(xí)

對抗學(xué)習(xí)（AL）是通過構(gòu)造相互競爭的生成器和判別器來提高學(xué)習(xí)的效率，因此又稱作生成式對抗網(wǎng)絡(luò)(GAN)。GAN是一個強大的基于博弈論的生成模型學(xué)習(xí)框架，由Goodfellow于2014年首次提出，其結(jié)合了生成模型和對抗學(xué)習(xí)思想，目前已成為AI學(xué)界最為重要的研究熱點之一。在EEPS領(lǐng)域，真實電力系統(tǒng)的數(shù)據(jù)往往非常復(fù)雜，擬合模型所需計算量往往非常龐大，甚至難以承受，利用GAN可構(gòu)造一個min-max對抗博弈系統(tǒng)來自動產(chǎn)生大量模型仿真數(shù)據(jù)，并使用隨機梯度下降(SGD)實現(xiàn)優(yōu)化，在很大程度上解決了真實環(huán)境樣本小的問題。在EEPS領(lǐng)域，近年來，有關(guān)學(xué)者將GAN用于模型無關(guān)的可再生能源場景生成、配電系統(tǒng)異構(gòu)數(shù)據(jù)資源有效利用、自能源模型參數(shù)辨識等方面?？偟膩碚f，GAN作為AI 2.0的代表技術(shù)，最大優(yōu)勢在于無需對生成分布進行顯式表達，可大大降低訓(xùn)練難度，并提高訓(xùn)練效率，因而可在EEPS領(lǐng)域發(fā)揮重要作用。當(dāng)然，GAN也存在某些缺點，最突出的就是訓(xùn)練過程不穩(wěn)定，對多樣性不足和準確性不足的懲罰并不平衡，導(dǎo)致“模式坍塌(mode collapse)”現(xiàn)象發(fā)生。未來，GAN將在克服“模式坍塌”方面繼續(xù)提升，并設(shè)法與其他模型融合，比如融合能量函數(shù)和RL的GAN，尤其是與RL的深度融合，并用于跨任務(wù)學(xué)習(xí)，這將有力推進AI 2.0在EEPS領(lǐng)域中的應(yīng)用和發(fā)展。

2.7集成學(xué)習(xí)

集成學(xué)習(xí)（EL）嚴格意義上說并不算一種ML算法，而更像是一種優(yōu)化手段或策略，其通常結(jié)合多個簡單的弱ML算法有策略地生成一些基礎(chǔ)模型，然后有策略地將它們集成模型組，去更可靠地完成學(xué)習(xí)任務(wù)并做出最終決策，因此，EL又稱為多分類器系統(tǒng)。EL適合于靜態(tài)數(shù)據(jù)的集中分類等問題，而更為廣義的EL技術(shù)可應(yīng)用于動態(tài)系統(tǒng)的建模和控制。在EEPS領(lǐng)域，近年來，EL主要用于頻率控制、電力系統(tǒng)安全及穩(wěn)定性評估、負荷預(yù)測、可再生能源消耗和新能源發(fā)電量預(yù)測等方面，已取得不錯的效果，其應(yīng)用的主要難點在于究竟集成哪些獨立的較弱的學(xué)習(xí)模型以及如何把學(xué)習(xí)結(jié)果整合起來。此外，EL對噪聲較為敏感、有時陷入局部最優(yōu)、出現(xiàn)過擬合和欠擬合等現(xiàn)象也值得關(guān)注。為此，有關(guān)學(xué)者指出EL可與DL完美結(jié)合構(gòu)成深度殘差學(xué)習(xí)等網(wǎng)絡(luò)，這對于將來為EEPS領(lǐng)域問題提供解決方案具有重要意義。

三、大數(shù)據(jù)思維下的ML發(fā)展思考

在EEPS領(lǐng)域，電力大數(shù)據(jù)往往存在多源多態(tài)、異構(gòu)、復(fù)雜、高維、分布、非確定性、指數(shù)級增長等特性，導(dǎo)致對這些流數(shù)據(jù)的采集、存儲、處理、知識挖掘和價值應(yīng)用等變得異常困難。對于EEPS領(lǐng)域而言，數(shù)據(jù)科學(xué)的發(fā)展和進步將極大地驅(qū)動AI 2.0尤其是ML在該領(lǐng)域的快速發(fā)展和深層應(yīng)用。未來，ML需要與基于數(shù)學(xué)模型的研究相結(jié)合，方能在EEPS各個有關(guān)領(lǐng)域取得長足發(fā)展。這也可以看出，大數(shù)據(jù)思維下的數(shù)據(jù)挖掘方法與傳統(tǒng)地通過ML建立人工模型進行推導(dǎo)的研究方法并不矛盾，二者反而可以互為補充。當(dāng)然，大數(shù)據(jù)思維下的數(shù)據(jù)挖掘技術(shù)尚處于快速發(fā)展之中，與ML中的研究熱點，如DL、DRL、TL、PL、GAN等結(jié)合，在EEPS研究中前景廣闊、大有可為，未來值得深入研究。

四、未來展望

目前，AI 2.0距離“很好用”還存在諸多瓶頸，如數(shù)據(jù)瓶頸、泛化瓶頸、能耗瓶頸、語義鴻溝瓶頸、可解釋性瓶頸和可靠性瓶頸等。ML是為了解決知識獲取的瓶頸問題而出現(xiàn)的，數(shù)據(jù)和模型對于ML而言是同等重要的。上述AI 2.0發(fā)展遇到的瓶頸也是ML未來發(fā)展所必須面對的。如何有效利用EEPS的運行機理及其數(shù)據(jù)源，通過合適的ML技術(shù)來處理系統(tǒng)的各種復(fù)雜任務(wù)，以實現(xiàn)整個系統(tǒng)的安全、可靠、經(jīng)濟、環(huán)保運行，成為了當(dāng)前國內(nèi)外的熱點研究問題。近年來，有關(guān)學(xué)者提出開發(fā)嵌入了專業(yè)知識的ML方法，稱為引導(dǎo)學(xué)習(xí)，其主要特點是結(jié)合了領(lǐng)域知識經(jīng)驗和ML，提供了一種知識分析與數(shù)據(jù)挖掘相融合的ML范式，為“人類+機器”協(xié)同混合增強智能的實現(xiàn)機理和電力知識資產(chǎn)傳承管理提供了一條可行的路線。

總的來說，盡管ML在當(dāng)前的EEPS領(lǐng)域的應(yīng)用還存在諸多瓶頸，但其潛力和價值是無窮的。在大能源思維和大數(shù)據(jù)思維下，未來通用的“終極ML算法”是有可能誕生的，它將是大數(shù)據(jù)挖掘技術(shù)和多源數(shù)據(jù)融合思想等數(shù)據(jù)科學(xué)的充分利用、多種ML方式的深度交叉融合、機器的情感和記憶推理等高級智能。例如，通過引入具有群體智慧的平行ML，建立虛擬的平行人工EEPS，實現(xiàn)王飛躍教授等提出的“平行能源與社會能源”的理念以及“平行調(diào)度”的構(gòu)想，實現(xiàn)知識智能互聯(lián)的“能源智聯(lián)網(wǎng)”，即信息-物理-社會深度融合系統(tǒng)(CPSS)。因此，通過基于深度特征識別和加裝存儲記憶、推理模塊的RL，DL，TL，PL，HL，AL (GAN)，EL等各種學(xué)習(xí)方式的交叉融合，新一代數(shù)據(jù)驅(qū)動的“智慧EEPS”未來將有可能實現(xiàn)，最終將會走向“工業(yè)5.0”和“能源5.0”發(fā)展的新時代。

文章原刊于《電力系統(tǒng)自動化》2019年第43卷第I期