?全球能源互聯(lián)網(wǎng)研究院(原國網(wǎng)智能電網(wǎng)研究院)計算及應(yīng)用研究所致力于為全球能源互聯(lián)網(wǎng)提供高性能計算能力、智能計算技術(shù)和優(yōu)質(zhì)計算服務(wù)，目前已成立國家電網(wǎng)公司先進(jìn)計算及應(yīng)用智能實(shí)驗(yàn)室。近5年，實(shí)驗(yàn)室承擔(dān)了國家“863”等近20項國家級科研項目，40余項公司科技項目。建設(shè)形成先進(jìn)的廣域分布式電力大數(shù)據(jù)分析計算平臺，覆蓋北京、南京、美國硅谷，為總部業(yè)務(wù)部門及各省公司提供自助式分析服務(wù)。與中科院計算所、中國電子集團(tuán)、沈昌祥院士團(tuán)隊等機(jī)構(gòu)建立了高性能計算、大數(shù)據(jù)、可信計算等聯(lián)合實(shí)驗(yàn)室。
研究背景
電力大數(shù)據(jù)技術(shù)研究與應(yīng)用已成為國家電網(wǎng)公司當(dāng)前信息技術(shù)發(fā)展重點(diǎn)之一，面向全球能源互聯(lián)網(wǎng)業(yè)務(wù)的相關(guān)需求也迅速增加，國家電網(wǎng)公司電力大數(shù)據(jù)相關(guān)研究亟需總體層面上的規(guī)劃指導(dǎo)，尤其是在電力大數(shù)據(jù)基礎(chǔ)體系架構(gòu)、技術(shù)標(biāo)準(zhǔn)和應(yīng)用規(guī)范方面的技術(shù)儲備，統(tǒng)一規(guī)劃與協(xié)同推進(jìn)公司各系統(tǒng)、各單位的電力大數(shù)據(jù)相關(guān)研究和應(yīng)用工作，以支撐大數(shù)據(jù)在公司業(yè)務(wù)系統(tǒng)建設(shè)和全球能源互聯(lián)網(wǎng)建設(shè)中的應(yīng)用需要。
主要創(chuàng)新點(diǎn)
面向全球能源互聯(lián)網(wǎng)的電力大數(shù)據(jù)總體架構(gòu)
電力大數(shù)據(jù)的分析流程主要包含數(shù)據(jù)集成、數(shù)據(jù)存儲、數(shù)據(jù)計算、業(yè)務(wù)應(yīng)用四個階段，在該流程中融合數(shù)據(jù)治理、分布式存儲、高性能混合計算、數(shù)據(jù)探索、一體化搜索、可視化展現(xiàn)、智能信息處理、安全治理等信息技術(shù)實(shí)現(xiàn)數(shù)據(jù)分析、處理、安全防護(hù)的基礎(chǔ)平臺支撐，通過全球能源互聯(lián)網(wǎng)多領(lǐng)域交叉融合研究，建立智能化的建模分析及數(shù)據(jù)使用模式，支撐全球能源互聯(lián)網(wǎng)業(yè)務(wù)應(yīng)用和場景需求，總體架構(gòu)如下圖所示。
電力大數(shù)據(jù)平臺功能架構(gòu)
電力大數(shù)據(jù)功能架構(gòu)設(shè)計可用于規(guī)范和定義電力大數(shù)據(jù)平臺在運(yùn)行時的整體功能流程及技術(shù)選型，該平臺可整合電力行業(yè)不同領(lǐng)域的數(shù)據(jù)，形成統(tǒng)一的數(shù)據(jù)資源池，構(gòu)建具備開放性、可擴(kuò)展性、個性化、安全可靠、成熟先進(jìn)的大數(shù)據(jù)分析服務(wù)體系，并具備面向社會的公共服務(wù)能力。圍繞大數(shù)據(jù)分析應(yīng)用生態(tài)圈，從底層基礎(chǔ)設(shè)施、數(shù)據(jù)集成、數(shù)據(jù)處理、數(shù)據(jù)分析、數(shù)據(jù)可視化五個層面、運(yùn)維與安全兩個保障功能，應(yīng)用先進(jìn)技術(shù)、工具、算法、產(chǎn)品，構(gòu)建電力大數(shù)據(jù)分析與應(yīng)用平臺功能架構(gòu)，見下圖所示。
電力大數(shù)據(jù)平臺技術(shù)架構(gòu)
電力大數(shù)據(jù)核心平臺基于Hadoop、Spark、Stream框架的高度融合、深度優(yōu)化，實(shí)現(xiàn)高性能計算，具有高可用性，其技術(shù)架構(gòu)如圖3所示。數(shù)據(jù)整合方面，主要采用Hadoop體系中的Flume、Sqoop、Kafka等獨(dú)立組件;數(shù)據(jù)存儲方面，在低成本硬件(X86)、磁盤的基礎(chǔ)上，采用包括分布式文件系統(tǒng)、分布式關(guān)系型數(shù)據(jù)庫、NoSQL數(shù)據(jù)庫、實(shí)時數(shù)據(jù)庫、內(nèi)存數(shù)據(jù)庫等業(yè)界典型系統(tǒng);數(shù)據(jù)分析方面，集成Tableau、Pluto，R語言環(huán)境，實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)計分析以及數(shù)據(jù)挖掘能力;監(jiān)控管理方面，利用Ganglia，實(shí)現(xiàn)集群監(jiān)控、服務(wù)監(jiān)控、節(jié)點(diǎn)監(jiān)控、性能監(jiān)控、告警監(jiān)控等管理服務(wù);可視化展現(xiàn)方面，基于GIS、Flash、ECHART、HTML5等構(gòu)建可視化展示模塊。電力大數(shù)據(jù)平臺技術(shù)架構(gòu)見下圖所示。
面向全球能源互聯(lián)網(wǎng)的電力大數(shù)據(jù)總體架構(gòu)
在基礎(chǔ)設(shè)施部署架構(gòu)及容量規(guī)劃方面，電力大數(shù)據(jù)平臺集群主要由數(shù)據(jù)存儲服務(wù)器、接口服務(wù)器、集群管理服務(wù)器和應(yīng)用服務(wù)器組成，支持存儲與計算混合式架構(gòu)以及廣域分布的集群部署與管理。每個省集群由總共30臺x86服務(wù)器和一臺小型機(jī)組成，其中核心數(shù)據(jù)集群由25臺構(gòu)成;剩余5臺服務(wù)器中，3臺服務(wù)器組成消息總線集群，部署包括Kafka消息隊列集群以及FTP傳輸入庫集群，1臺服務(wù)器作為集群登陸跳轉(zhuǎn)以及RstudioServer服務(wù)節(jié)點(diǎn)，還有1臺服務(wù)器作為ODBC/JDBC服務(wù)以及WebHTTP/REST服務(wù)節(jié)點(diǎn)。小型機(jī)作為關(guān)系型數(shù)據(jù)庫以及時間序列數(shù)據(jù)庫節(jié)點(diǎn)，部署方式如下圖所示。
電力大數(shù)據(jù)標(biāo)準(zhǔn)體系
通過分析國內(nèi)外大數(shù)據(jù)相關(guān)標(biāo)準(zhǔn)，并結(jié)合電力大數(shù)據(jù)技術(shù)、產(chǎn)品和應(yīng)用需求，形成電力大數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范18項，重點(diǎn)涵蓋基礎(chǔ)概念、數(shù)據(jù)采集、存儲、計算、分析、展示、質(zhì)量控制、安全防護(hù)、數(shù)據(jù)服務(wù)等8大方面，適用于全球能源互聯(lián)網(wǎng)環(huán)境下電力大數(shù)據(jù)平臺建設(shè)和相關(guān)標(biāo)準(zhǔn)編制，如下表所示。
解決的問題和意義
解決電力海量數(shù)據(jù)的實(shí)時分析問題
在輸電監(jiān)測與狀態(tài)評估業(yè)務(wù)中，涉及線路臺賬、在線監(jiān)測、試驗(yàn)檢測、日常巡視、直升機(jī)或無人機(jī)巡視和衛(wèi)星遙感等數(shù)據(jù)，實(shí)時獲取輸電監(jiān)測與狀態(tài)的流數(shù)據(jù)，利用分布式存儲系統(tǒng)的高吞吐，實(shí)現(xiàn)海量監(jiān)測與狀態(tài)數(shù)據(jù)的同步存儲;利用事先定義好的業(yè)務(wù)規(guī)則和數(shù)據(jù)處理邏輯，結(jié)合數(shù)據(jù)檢索技術(shù)對監(jiān)測與狀態(tài)數(shù)據(jù)進(jìn)行快速檢索處理;利用流計算技術(shù)，實(shí)時處理流監(jiān)測與狀態(tài)數(shù)據(jù)，根據(jù)流計算結(jié)果，實(shí)現(xiàn)實(shí)時評估和趨勢預(yù)測，對輸電線路健康安全狀態(tài)進(jìn)行正確評價，指導(dǎo)輸電線路狀態(tài)檢修決策，準(zhǔn)確識別輸電線路故障，實(shí)現(xiàn)異常狀態(tài)報警，對惡劣自然條件下輸電線路氣象災(zāi)害安全進(jìn)行預(yù)警，為自然災(zāi)害防治提供決策支撐。
解決電力海量數(shù)據(jù)的離線分析問題
針對配電網(wǎng)規(guī)劃、運(yùn)行過程中產(chǎn)生的海量異構(gòu)、多態(tài)的數(shù)據(jù)，具有多時空、多來源、混雜和不確定性的特點(diǎn)，如圖6所示，分析配電網(wǎng)規(guī)劃數(shù)據(jù)的種類和格式多樣性，建立統(tǒng)一的大數(shù)據(jù)存儲接口，實(shí)現(xiàn)配電網(wǎng)規(guī)劃離線數(shù)據(jù)的一體化分布式快速存儲。在離線數(shù)據(jù)一體化存儲的基礎(chǔ)上，建立數(shù)據(jù)分析接口，提供對配電網(wǎng)規(guī)劃數(shù)據(jù)統(tǒng)計處理任務(wù)的支撐，并進(jìn)一步滿足配電網(wǎng)規(guī)劃計算分析、配電網(wǎng)風(fēng)險評估及預(yù)警等高級應(yīng)用系統(tǒng)的數(shù)據(jù)要求，為管理層合理調(diào)整負(fù)荷、調(diào)節(jié)運(yùn)行方式、制定電價政策等決策提供科學(xué)合理的依據(jù)。電力大數(shù)據(jù)離線分析應(yīng)用如下圖所示。
意義
通過對公司大數(shù)據(jù)服務(wù)體系框架、總體技術(shù)架構(gòu)及演進(jìn)路線的研究，以及對集中式數(shù)據(jù)中心環(huán)境下的數(shù)據(jù)大集中技術(shù)架構(gòu)的研究，設(shè)計提出符合電力大數(shù)據(jù)當(dāng)前應(yīng)用現(xiàn)狀和需求的公司大數(shù)據(jù)總體架構(gòu)，全面指導(dǎo)大數(shù)據(jù)其他關(guān)鍵技術(shù)的研究;研究制定電力大數(shù)據(jù)的管理規(guī)范、應(yīng)用標(biāo)準(zhǔn)和規(guī)范化建設(shè)模式，通過標(biāo)準(zhǔn)體系的建立進(jìn)一步促進(jìn)與保障電力大數(shù)據(jù)技術(shù)的應(yīng)用推廣;基于基礎(chǔ)體系架構(gòu)和標(biāo)準(zhǔn)體系，可在總體層面上提出公司電力大數(shù)據(jù)發(fā)展規(guī)劃，在統(tǒng)一規(guī)劃與協(xié)同推進(jìn)下有序開展公司各系統(tǒng)、各單位的電力大數(shù)據(jù)相關(guān)研究和應(yīng)用工作。
