10月28日一早，湖北電力信通公司大數(shù)據(jù)室主任廖榮濤登錄數(shù)據(jù)中臺全鏈路監(jiān)測平臺，查看數(shù)據(jù)中臺當天數(shù)據(jù)同步情況。平臺提示，智慧供應鏈應用有1張數(shù)據(jù)表在數(shù)據(jù)中臺的數(shù)據(jù)量為0，核查發(fā)現(xiàn)是該數(shù)據(jù)表在源端系統(tǒng)結(jié)構(gòu)變更造成的。和之前每日由國網(wǎng)大數(shù)據(jù)中心通知數(shù)據(jù)質(zhì)量問題的方式相比，數(shù)據(jù)中臺全鏈路監(jiān)測平臺大大提高了數(shù)據(jù)核查的工作效率。
數(shù)據(jù)中臺全鏈路監(jiān)測平臺是國網(wǎng)湖北電力企業(yè)級數(shù)字基礎能力建設重點項目工作成果之一，由湖北電力信通公司承建。該平臺于5月份啟動建設，9月底上線運行，可對數(shù)據(jù)從源端系統(tǒng)到數(shù)據(jù)中臺再到業(yè)務應用的流轉(zhuǎn)通道以及數(shù)據(jù)資源進行統(tǒng)一監(jiān)測，實現(xiàn)數(shù)據(jù)鏈路可視、可查、可追溯，推動數(shù)據(jù)監(jiān)測應用更智能。
細化數(shù)據(jù)監(jiān)測顆粒度
精準定位異常
數(shù)據(jù)從源端業(yè)務系統(tǒng)接入到數(shù)據(jù)中臺后，將經(jīng)過多層清洗、處理、匯總、輸出等流轉(zhuǎn)過程，且省級數(shù)據(jù)中臺和國網(wǎng)大數(shù)據(jù)中心數(shù)據(jù)中臺兩級中臺之間數(shù)據(jù)交互頻繁、數(shù)據(jù)鏈路復雜，任何一個環(huán)節(jié)出現(xiàn)問題都會造成數(shù)據(jù)無法使用。
“在前期數(shù)據(jù)中臺狀態(tài)監(jiān)測專項工作成果的基礎上，平臺研發(fā)人員統(tǒng)籌設計，細化監(jiān)測顆粒度，實現(xiàn)了監(jiān)測對象從數(shù)據(jù)表到字段的突破。”湖北電力信通公司數(shù)據(jù)中臺專責王晟瑋介紹。平臺研發(fā)人員梳理各專業(yè)業(yè)務規(guī)則，厘清數(shù)據(jù)字段從產(chǎn)生、加工融合到流轉(zhuǎn)應用的上下游依賴關(guān)系即數(shù)據(jù)鏈路，實現(xiàn)了數(shù)據(jù)字段級監(jiān)測，確保數(shù)據(jù)中臺字段級數(shù)據(jù)傳輸?shù)囊恢隆⑼暾c及時。
厘清數(shù)據(jù)鏈路之后，湖北電力信通公司從數(shù)據(jù)流與組件兩個維度，設計了涵蓋數(shù)據(jù)調(diào)用任務、中臺組件、數(shù)據(jù)服務、重點應用4個方面的58項監(jiān)測指標，明確了數(shù)據(jù)監(jiān)測的標準。之后，該公司多次研究，確定了通過元倉數(shù)據(jù)、日志信息采集數(shù)據(jù)，加工計算形成監(jiān)測指標后推送至前端界面，可視化展示全環(huán)節(jié)數(shù)據(jù)流轉(zhuǎn)的技術(shù)路線，實現(xiàn)數(shù)據(jù)中臺全鏈路情況在線可視、可查、可監(jiān)測。
基于數(shù)據(jù)字段級監(jiān)測，平臺還實現(xiàn)了數(shù)據(jù)異常告警、定位和溯源三大功能。目前，該平臺已監(jiān)測數(shù)據(jù)中臺接入的59個業(yè)務系統(tǒng)數(shù)據(jù)，涉及數(shù)據(jù)表1.68萬張，日均監(jiān)測數(shù)據(jù)任務超3萬個。上線以來，該平臺發(fā)現(xiàn)接入數(shù)據(jù)鏈路異常286次，預警兩級中臺異常98次，國網(wǎng)湖北電力數(shù)據(jù)質(zhì)量問題分析耗時降低80%。
開放監(jiān)測能力
提高數(shù)據(jù)調(diào)用效率
“網(wǎng)上電網(wǎng)應用申請將營銷業(yè)務應用系統(tǒng)電量電費數(shù)據(jù)納入監(jiān)測平臺，主要包括302個‘煤改電’等臺區(qū)5.5萬戶客戶的用電量數(shù)據(jù)?！?0月29日，王晟瑋收到國網(wǎng)湖北電力發(fā)展部專責葉宇軒的郵件。王晟瑋了解情況后，組織技術(shù)人員制訂方案，開展電量電費數(shù)據(jù)鏈路梳理，并在平臺上配置相關(guān)信息。當天下午，葉宇軒便可以在數(shù)據(jù)中臺全鏈路監(jiān)測平臺的應用監(jiān)測模塊看到數(shù)據(jù)同步情況，省去了數(shù)據(jù)確認與核查的環(huán)節(jié)，數(shù)據(jù)調(diào)用效率大大提升。
隨著數(shù)據(jù)中臺的深化應用，跨專業(yè)、跨部門的數(shù)據(jù)調(diào)用日益頻繁。以往數(shù)據(jù)開發(fā)人員申請數(shù)據(jù)后，一般通過電話、郵件與業(yè)務部門核對確認業(yè)務數(shù)據(jù)狀態(tài)。這種方式耗時費力，而且當業(yè)務數(shù)據(jù)狀態(tài)出現(xiàn)變更或錯誤時，沒有預警和定向通知，信息無法自動及時傳達給相關(guān)人員，問題處理較為被動。
為了更好地支持業(yè)務部門開展數(shù)據(jù)分析應用，湖北電力信通公司為數(shù)據(jù)中臺全鏈路監(jiān)測平臺開發(fā)了應用監(jiān)測模塊，相關(guān)人員可查看業(yè)務數(shù)據(jù)在各環(huán)節(jié)的情況。通過該平臺，跨專業(yè)的數(shù)據(jù)共享和使用更加便捷，大幅降低了溝通成本，推動數(shù)據(jù)分析應用的開發(fā)迭代時長縮短20%。
按需聯(lián)動
提供個性化監(jiān)測需求解決方案
10月28日，黃岡供電公司配網(wǎng)故障搶修應用負責人胡歡君在全鏈路監(jiān)測平臺查看數(shù)據(jù)運行情況。應用后臺數(shù)據(jù)鏈路運行正常，數(shù)據(jù)更新頻率為5分鐘，滿足應用開發(fā)需求。配網(wǎng)故障搶修應用需要抽取用電信息采集系統(tǒng)中的實時電流、電壓等數(shù)據(jù)，并根據(jù)時效性調(diào)整應用開發(fā)策略，對數(shù)據(jù)時效性要求較高。此前，全鏈路監(jiān)測平臺常規(guī)的日監(jiān)測模式無法其滿足開發(fā)要求。
收到配網(wǎng)故障搶修應用的數(shù)據(jù)抽取需求后，全鏈路監(jiān)測平臺技術(shù)人員將配網(wǎng)故障搶修應用的接入數(shù)據(jù)顆粒度由數(shù)據(jù)表細化到涉及電流、電壓等數(shù)據(jù)的字段，并設置數(shù)據(jù)時效性監(jiān)測指標和異常告警規(guī)則，讓應用能夠?qū)崟r獲取源端數(shù)據(jù)更新情況。
針對應用開發(fā)中常見的數(shù)據(jù)變動頻繁、時效性以及優(yōu)先級要求不同等情況，湖北電力信通公司梳理個性化監(jiān)測需求背后的業(yè)務邏輯，找準數(shù)據(jù)鏈條，并根據(jù)應用需求定制化設置監(jiān)測顆粒度，提高數(shù)據(jù)監(jiān)測與應用開發(fā)實際需求的契合度。
“新建應用及重點應用可按需提高監(jiān)測頻率、配置告警閾值、定制監(jiān)測指標，結(jié)合業(yè)務變化靈活調(diào)整?！眹W(wǎng)湖北電力數(shù)據(jù)中臺總體負責人周鴻雁說，“目前，全鏈路監(jiān)測平臺重點保障向國網(wǎng)大數(shù)據(jù)中心報送的507張數(shù)據(jù)表的傳輸，支撐國網(wǎng)湖北電力243項考核指標的計算，持續(xù)開展本地116條關(guān)鍵數(shù)據(jù)鏈路監(jiān)測，更多的監(jiān)測需求我們還在積極與業(yè)務部門對接中。后續(xù)，我們將不斷拓展監(jiān)測范圍及深度，讓監(jiān)測服務流程更加標準化?！?
評論