以數(shù)字化技術(shù)和能源互聯(lián)網(wǎng)理念為驅(qū)動的“數(shù)字新基建”對現(xiàn)有調(diào)度自動化系統(tǒng)的數(shù)字化轉(zhuǎn)型提出新的挑戰(zhàn)，該文考慮調(diào)控數(shù)據(jù)存儲規(guī)模、數(shù)據(jù)加工復(fù)雜度和數(shù)據(jù)服務(wù)多樣化的需求，提出電網(wǎng)調(diào)控大數(shù)據(jù)平臺的體系架構(gòu)。在此基礎(chǔ)上，研究了多源調(diào)控數(shù)據(jù)集成與融合、異構(gòu)數(shù)據(jù)庫分層統(tǒng)一存儲、調(diào)控數(shù)據(jù)資產(chǎn)管理、大數(shù)據(jù)算法引擎等關(guān)鍵技術(shù)，實現(xiàn)全業(yè)務(wù)、全場景的電網(wǎng)調(diào)控數(shù)據(jù)匯集、加工和資產(chǎn)管理。該技術(shù)方案為調(diào)控云智能分析應(yīng)用提供了存儲、數(shù)據(jù)和算法的有力支撐。

　　0 引言

　　電網(wǎng)調(diào)度自動化系統(tǒng)作為電網(wǎng)運行的重要技術(shù)支撐，伴隨著三代電網(wǎng)的發(fā)展而不斷完善［1］，系統(tǒng)建設(shè)也從引進消化逐步發(fā)展為全面國產(chǎn)化，經(jīng)過多年運行積累了豐富詳實的數(shù)據(jù)資源。然而，煙囪型的建設(shè)模式使這些數(shù)據(jù)分散在不同調(diào)度機構(gòu)、不同專業(yè)、不同安全區(qū)，存在系統(tǒng)獨立維護、數(shù)據(jù)類型多樣、統(tǒng)一決策困難等問題［2］，當前依托于確定性公式、模型、參數(shù)及孤立式數(shù)據(jù)的電網(wǎng)分析模式，將難于應(yīng)對特高壓交直流混聯(lián)大電網(wǎng)運行風(fēng)險不斷累積、新能源消納矛盾突出、市場化改革快速推進等諸多挑戰(zhàn)。

　　近年來，隨著計算能力提升、數(shù)據(jù)爆發(fā)增長、機器學(xué)習(xí)算法進步、投資力度加大，大數(shù)據(jù)技術(shù)迎來了繁榮時期，在引領(lǐng)新一輪科技革命和產(chǎn)業(yè)變革中扮演著重要角色，受到各國政府、學(xué)術(shù)界和產(chǎn)業(yè)界的廣泛關(guān)注［3］。大數(shù)據(jù)技術(shù)與物聯(lián)網(wǎng)、云計算技術(shù)共同為電網(wǎng)調(diào)控領(lǐng)域的再次創(chuàng)新提供了推動力。大數(shù)據(jù)思維將各種數(shù)據(jù)資源從簡單的處理對象轉(zhuǎn)變?yōu)樯a(chǎn)的基礎(chǔ)要素，與大能源思維融合為大能源系統(tǒng)廣泛互聯(lián)、開放互動及高度智能提供有力支撐。大數(shù)據(jù)技術(shù)［4-5］涵蓋了從信息產(chǎn)生、采集、存儲、轉(zhuǎn)換、集成、挖掘分析等全生命周期，需要具備從不同類型的多源異構(gòu)數(shù)據(jù)中，快速提煉出有價值信息的能力。

　　電力大數(shù)據(jù)既是“AI+電力”的重要基礎(chǔ)［6-9］，也是銜接智能電網(wǎng)與人工智能應(yīng)用的橋梁。電力系統(tǒng)擁有來自能量管理系統(tǒng)（energy management system，EMS）、調(diào)度管理系統(tǒng)（operation management system，OMS）、生產(chǎn)管理系統(tǒng)（production management system，PMS）、廣域監(jiān)測系統(tǒng)（wide area measurement system，WAMS）、配電管理系統(tǒng)（distribution management system，DMS）、電能量計量系統(tǒng)（tele-meter reading system，TMR）、地理信息系統(tǒng)（geographic information system，GIS）等多個業(yè)務(wù)系統(tǒng)的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，具備大數(shù)據(jù)的規(guī)模大、數(shù)據(jù)多樣、價值密度低和高速性等特性，智能電網(wǎng)大數(shù)據(jù)技術(shù)研究已廣泛開展，其中包括針對電網(wǎng)調(diào)控領(lǐng)域特定場景的大數(shù)據(jù)平臺及應(yīng)用研究［10-14］，實踐成果展現(xiàn)了大數(shù)據(jù)在存儲、計算、分析挖掘等方面的技術(shù)優(yōu)勢。但已有研究成果多從單一或特定場景構(gòu)建大數(shù)據(jù)挖掘分析，未從支撐調(diào)控全景數(shù)據(jù)接入、數(shù)據(jù)標準統(tǒng)一、數(shù)據(jù)共建共享和調(diào)控業(yè)務(wù)分析的角度考慮大數(shù)據(jù)平臺的體系架構(gòu)與支撐能力建設(shè)［15-16］。隨著以新能源為主體的新型電力系統(tǒng)建設(shè)開展，調(diào)度運行對擴展數(shù)據(jù)管理的范疇，以及提升數(shù)據(jù)深度應(yīng)用支撐能力提出了新的需求，而當前調(diào)控運行信息分布分散、數(shù)據(jù)分析挖掘深度不夠，還存在數(shù)據(jù)存儲時間長短不一、缺乏統(tǒng)籌規(guī)劃、數(shù)據(jù)冗余重復(fù)以及缺少調(diào)控領(lǐng)域挖掘算法等問題［17］。調(diào)控云平臺是解決上述問題的一種可行方法，其總體架構(gòu)指出需要突破的模型數(shù)據(jù)平臺、運行數(shù)據(jù)平臺、實時數(shù)據(jù)平臺和大數(shù)據(jù)平臺關(guān)鍵技術(shù)［17］。其中大數(shù)據(jù)平臺實現(xiàn)數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)處理、數(shù)據(jù)分析挖掘等功能，為大數(shù)據(jù)存儲、計算、分析等提供統(tǒng)一的平臺支撐。

　　為充分發(fā)揮調(diào)控全景數(shù)據(jù)資源優(yōu)勢，實現(xiàn)調(diào)控業(yè)務(wù)精益管理，本文結(jié)合調(diào)控云“資源虛擬化、數(shù)據(jù)標準化、應(yīng)用服務(wù)化”的調(diào)度信息化支撐體系［17］，從支撐調(diào)度智能分析、驅(qū)動業(yè)務(wù)發(fā)展的角度，對調(diào)控云中大數(shù)據(jù)平臺的總體架構(gòu)設(shè)計展開論述，并詳細闡述了大數(shù)據(jù)平臺關(guān)鍵技術(shù)，為后續(xù)大數(shù)據(jù)技術(shù)在電網(wǎng)調(diào)控領(lǐng)域的研究與發(fā)展提供了有益參考。

　　1 系統(tǒng)總體架構(gòu)1.1 體系架構(gòu)

　　調(diào)度自動化系統(tǒng)既是工業(yè)控制系統(tǒng)，也屬傳統(tǒng)意義上的信息化系統(tǒng)，具有雙重屬性。為實現(xiàn)未來強耦合互聯(lián)電網(wǎng)的全業(yè)務(wù)場景支撐，未來新一代調(diào)度自動化主站系統(tǒng)將過渡到雙平臺模式，由生產(chǎn)控制平臺與調(diào)控云平臺組成“一體兩翼”，形成“雙輪驅(qū)動”的應(yīng)用態(tài)勢。生產(chǎn)控制平臺繼承智能電網(wǎng)調(diào)度控制系統(tǒng)（D5000）成果，服務(wù)于“雙高”電網(wǎng)一體化運行控制目標，有效支撐“綠色低碳、安全高效”能源體系運轉(zhuǎn)。調(diào)控云是面向電網(wǎng)調(diào)度業(yè)務(wù)的云服務(wù)平臺，其PaaS層數(shù)據(jù)平臺細分為模型數(shù)據(jù)平臺、運行數(shù)據(jù)平臺、實時數(shù)據(jù)平臺、大數(shù)據(jù)平臺和人工智能平臺等5個部分。其中大數(shù)據(jù)平臺是調(diào)控海量數(shù)據(jù)管理與數(shù)據(jù)服務(wù)中心，一方面實現(xiàn)海量數(shù)據(jù)的匯集與存儲，另一方面實現(xiàn)數(shù)據(jù)加工、數(shù)據(jù)分析挖掘等功能，將數(shù)據(jù)資源進行資產(chǎn)化，通過數(shù)據(jù)服務(wù)的形式實現(xiàn)數(shù)據(jù)共享共用。大數(shù)據(jù)平臺在調(diào)控云的功能定位如圖 1所示，大數(shù)據(jù)平臺構(gòu)建于基礎(chǔ)資源和公共組件之上，與模型數(shù)據(jù)平臺、運行數(shù)據(jù)平臺和實時數(shù)據(jù)平臺之間存在約束關(guān)系，為人工智能平臺提供數(shù)據(jù)、樣本和計算環(huán)境，通過數(shù)據(jù)服務(wù)支撐大數(shù)據(jù)應(yīng)用。

　　圖 1 大數(shù)據(jù)平臺在調(diào)控云的功能定位Fig. 1 Logic structure of the big data platform in dispatching and control cloud

　　1.2 數(shù)據(jù)特點

　　智能電網(wǎng)大數(shù)據(jù)按數(shù)據(jù)來源分為電網(wǎng)內(nèi)部數(shù)據(jù)和外部數(shù)據(jù)，按結(jié)構(gòu)化特征分為結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，按時變性分為靜態(tài)數(shù)據(jù)和動態(tài)數(shù)據(jù)，其中動態(tài)數(shù)據(jù)按采樣頻率和生命周期覆蓋從微秒級到年度級［18-19］。智能電網(wǎng)大數(shù)據(jù)具有來源分散、數(shù)據(jù)量大、種類多、價值大的特征。

　　調(diào)控大數(shù)據(jù)平臺管理的數(shù)據(jù)涵蓋智能電網(wǎng)大數(shù)據(jù)，為適應(yīng)以新能源為主體的新型電力系統(tǒng)發(fā)展要求，還需要在此基礎(chǔ)上將數(shù)據(jù)的范圍擴展到跨電網(wǎng)層級，將數(shù)據(jù)種類擴展到負荷側(cè)資源、一次能源、二次設(shè)備和外部環(huán)境，以清晰描述和呈現(xiàn)電網(wǎng)空間特性，提供電力系統(tǒng)運行控制和計算分析的數(shù)據(jù)環(huán)境。

　　調(diào)控大數(shù)據(jù)平臺管理的數(shù)據(jù)種類覆蓋傳感測量、計算產(chǎn)生的自動化運行數(shù)據(jù)、調(diào)度管理產(chǎn)生的各類管理信息和能量交易產(chǎn)生的市場交易數(shù)據(jù)等。自動化運行數(shù)據(jù)主要包括廠站電氣量、設(shè)備開關(guān)量、外部環(huán)境、一次能源、可控負荷、廠站非電氣量以及衍生的各類指標、標簽等等。廠站電氣量主要包括發(fā)電廠、變電站、開關(guān)站、換流站電氣設(shè)備的電壓、電流、有功、無功、頻率等，對象范圍將擴展分布式電源、虛擬電廠等各類新型數(shù)據(jù)對象；設(shè)備開關(guān)量包括斷路器、刀閘、接地刀閘，擴展到繼電保護、系統(tǒng)保護、安控裝置、通信設(shè)備、自動化設(shè)備等；外部環(huán)境包括雷電、線路覆冰、山火，擴展到溫度、風(fēng)力、降雨（雪）、臺風(fēng)、地震；一次能源數(shù)據(jù)新增煤炭、天然氣、風(fēng)能、太陽能、水能相關(guān)信息；可控負荷新增電動汽車、充電樁、空調(diào)、電采暖、大工業(yè)用戶負荷、蓄能鍋爐和儲能等；廠站非電氣量包括變壓器抽頭、變壓器油溫、發(fā)電環(huán)保數(shù)據(jù)，擴展網(wǎng)安信息。管理信息主要包括發(fā)電計劃、停電計劃、輸電計劃、資產(chǎn)數(shù)據(jù)、技術(shù)標準、全業(yè)務(wù)流程以及各類報表等等，可擴展基建施工、設(shè)備巡視、營銷服務(wù)等信息。市場交易數(shù)據(jù)主要包括交易電價、交易計劃、合同信息等等。

　　根據(jù)上述調(diào)控大數(shù)據(jù)范疇可知，調(diào)控大數(shù)據(jù)平臺存儲管理的數(shù)據(jù)需要兼顧自動化運行數(shù)據(jù)、管理信息和市場交易數(shù)據(jù)特征，對應(yīng)的系統(tǒng)功能兼具工業(yè)自動化系統(tǒng)、管理信息系統(tǒng)和金融系統(tǒng)的特性，對調(diào)控大數(shù)據(jù)平臺提出技術(shù)挑戰(zhàn)。此外，為適應(yīng)“統(tǒng)一管理、分級調(diào)度”的調(diào)度管理模式，調(diào)控大數(shù)據(jù)基于兩級大數(shù)據(jù)平臺分布存儲，對調(diào)控大數(shù)據(jù)平臺的數(shù)據(jù)統(tǒng)一管理和共享共用也提出了相應(yīng)的技術(shù)要求。

　　1.3 部署模式

　　在部署模式上，大數(shù)據(jù)平臺遵循調(diào)控云總體架構(gòu)設(shè)計，采用主導(dǎo)、協(xié)同節(jié)點兩級部署方式，其部署結(jié)構(gòu)如圖 2所示。其中主導(dǎo)節(jié)點（國分大數(shù)據(jù)平臺）部署220kV以上主網(wǎng)模型數(shù)據(jù)及運行數(shù)據(jù)匯集處理，實現(xiàn)大數(shù)據(jù)匯集、處理及分析挖掘，并擔(dān)負全網(wǎng)調(diào)控數(shù)據(jù)資產(chǎn)統(tǒng)一管理角色；協(xié)同節(jié)點（省級大數(shù)據(jù)平臺）部署省調(diào)管轄范圍內(nèi)全網(wǎng)模型并實現(xiàn)對應(yīng)運行數(shù)據(jù)匯集、處理及分析挖掘，并遵從調(diào)控數(shù)據(jù)資產(chǎn)管理要求。兩級大數(shù)據(jù)平臺通過資源高速同步網(wǎng)部署統(tǒng)一的運行數(shù)據(jù)服務(wù)以實現(xiàn)不同電壓等級運行數(shù)據(jù)的透明共享，確保在主導(dǎo)節(jié)點和協(xié)同節(jié)點均能獲取到全網(wǎng)全電壓等級運行數(shù)據(jù)。

　　圖 2 電網(wǎng)調(diào)控大數(shù)據(jù)平臺部署示意圖Fig. 2 Deployment of regulate big data platform

　　1.4 軟件架構(gòu)

　　電網(wǎng)調(diào)控大數(shù)據(jù)平臺軟件功能上的基礎(chǔ)組件與工業(yè)大數(shù)據(jù)相關(guān)行業(yè)類似，但適應(yīng)電網(wǎng)“統(tǒng)一管理、分級調(diào)度”的特點、數(shù)據(jù)分散采集的特點，以及遵循調(diào)控云架構(gòu)“資源虛擬化、數(shù)據(jù)標準化、應(yīng)用服務(wù)化”的要求，技術(shù)功能上更側(cè)重數(shù)據(jù)的統(tǒng)一管理和服務(wù)的共建共享。大數(shù)據(jù)平臺一方面實現(xiàn)電網(wǎng)海量數(shù)據(jù)的匯集與存儲，實現(xiàn)物理分布、邏輯統(tǒng)一的數(shù)據(jù)管理；另一方面實現(xiàn)數(shù)據(jù)加工、數(shù)據(jù)分析挖掘等功能，將數(shù)據(jù)進行資產(chǎn)化，并通過數(shù)據(jù)服務(wù)的形式實現(xiàn)數(shù)據(jù)共享共用。

　　大數(shù)據(jù)平臺主導(dǎo)與協(xié)同節(jié)點的技術(shù)路線一致，本文重點從國分大數(shù)據(jù)平臺角度介紹。大數(shù)據(jù)平臺軟件體系架構(gòu)如圖 3所示，按照“存、通、用”的設(shè)計思路，結(jié)合調(diào)控運行和管理業(yè)務(wù)數(shù)據(jù)特點及應(yīng)用需求，在Hadoop等基礎(chǔ)組件之上，從數(shù)據(jù)處理角度將大數(shù)據(jù)平臺功能分為數(shù)據(jù)匯集、數(shù)據(jù)加工、數(shù)據(jù)服務(wù)3層，以及數(shù)據(jù)管理和數(shù)理方法等支撐功能。

　　圖 3 電網(wǎng)調(diào)控大數(shù)據(jù)平臺的體系架構(gòu)Fig. 3 Technology architecture of the regulate big data platform

　　數(shù)據(jù)匯集面向廣域分布式業(yè)務(wù)系統(tǒng)，通過消息總線匯集來自SCADA、OMS、PMS、DMS、WAMS、TMR、GIS、調(diào)度計劃、負荷預(yù)測、綜合智能告警、現(xiàn)貨市場技術(shù)支持系統(tǒng)、數(shù)值天氣預(yù)報、二次設(shè)備監(jiān)視等多種廣域異構(gòu)源系統(tǒng)的調(diào)控數(shù)據(jù)，通過數(shù)據(jù)交換方式匯集來自政府、氣象、公共服務(wù)部門、商業(yè)機構(gòu)、電力市場成員和互聯(lián)網(wǎng)的調(diào)控中心外部數(shù)據(jù)，技術(shù)上通過流式采集或者ELT（抽取、加載、轉(zhuǎn)換）工具完成數(shù)據(jù)同步。

　　數(shù)據(jù)加工將匯集存儲的原生數(shù)據(jù)通過算法加工、計算、聚合形成可讀取、更具有使用價值的數(shù)據(jù)，典型調(diào)控數(shù)據(jù)加工結(jié)果包括統(tǒng)計特征值、指標數(shù)據(jù)、標簽數(shù)據(jù)，例如發(fā)電有功功率日最大值、日最小值，線路年可用率、發(fā)電機年利用小時數(shù)、預(yù)測準確率、計劃執(zhí)行偏差率等等。

　　數(shù)據(jù)服務(wù)通過國分、省級大數(shù)據(jù)平臺的統(tǒng)一數(shù)據(jù)服務(wù)接口將大數(shù)據(jù)平臺存儲管理的各類數(shù)據(jù)提供給上層應(yīng)用，以自助式數(shù)據(jù)分析建立數(shù)據(jù)價值應(yīng)用生態(tài)，促進數(shù)據(jù)內(nèi)增值、外增效，為高效互動、智能開放的能源互聯(lián)網(wǎng)調(diào)度管理提供技術(shù)支撐。

　　此外，為解決調(diào)控大數(shù)據(jù)缺乏統(tǒng)籌規(guī)劃、數(shù)據(jù)冗余重復(fù)等問題，配置數(shù)據(jù)管理功能，實現(xiàn)兩級大數(shù)據(jù)平臺的數(shù)據(jù)統(tǒng)一管理。數(shù)據(jù)管理建立涵蓋數(shù)據(jù)資產(chǎn)規(guī)劃、數(shù)據(jù)資源目錄、數(shù)據(jù)資產(chǎn)目錄等功能的數(shù)據(jù)資產(chǎn)管理體系，實現(xiàn)數(shù)據(jù)分布感知、價值激活和價值評估的統(tǒng)一管理，同時具備數(shù)據(jù)檢測、計算管理、主題管理、數(shù)倉目錄和數(shù)據(jù)血緣等功能，提高多源、多類型、多調(diào)控對象在各級調(diào)控中心的匯集和加工效率，實現(xiàn)物理分布、邏輯統(tǒng)一的數(shù)據(jù)標準化。為支持數(shù)據(jù)深度分析挖掘，配置豐富的數(shù)理方法，支持涵蓋數(shù)理統(tǒng)計、機器學(xué)習(xí)及深度學(xué)習(xí)的上百種調(diào)控通用和專用算法。

　　2 電網(wǎng)調(diào)控大數(shù)據(jù)平臺關(guān)鍵技術(shù)

　　調(diào)控大數(shù)據(jù)平臺的關(guān)鍵技術(shù)包括多源調(diào)控數(shù)據(jù)集成與融合技術(shù)、異構(gòu)數(shù)據(jù)庫分層統(tǒng)一存儲技術(shù)、面向調(diào)控對象的調(diào)控數(shù)據(jù)資產(chǎn)管理技術(shù)和面向業(yè)務(wù)分析的數(shù)理方法引擎等。

　　2.1 多源調(diào)控數(shù)據(jù)集成與融合技術(shù)

　　為實現(xiàn)電網(wǎng)調(diào)度信息的全局統(tǒng)一規(guī)劃，實現(xiàn)跨專業(yè)、跨調(diào)度機構(gòu)的數(shù)據(jù)共享，調(diào)控云建立了電力調(diào)度通用數(shù)據(jù)對象結(jié)構(gòu)化設(shè)計機制［20］，確立了對象ID編碼規(guī)則、元數(shù)據(jù)建模規(guī)則。本文結(jié)合電力調(diào)度通用數(shù)據(jù)對象結(jié)構(gòu)化設(shè)計方法，設(shè)計調(diào)控數(shù)據(jù)編碼、多源數(shù)據(jù)匯集、多源數(shù)據(jù)質(zhì)量和異構(gòu)調(diào)控信息融合方法，解決海量調(diào)控數(shù)據(jù)標準化管理、數(shù)據(jù)全面匯集和數(shù)據(jù)共建共享問題。

　　2.1.1 調(diào)控數(shù)據(jù)編碼

　　大數(shù)據(jù)平臺管理了海量的調(diào)控數(shù)據(jù)，既包括電網(wǎng)模型數(shù)據(jù)，也包括電網(wǎng)運行數(shù)據(jù)、文資數(shù)據(jù)和知識數(shù)據(jù)。截止到2021年5月，國分大數(shù)據(jù)平臺管理的數(shù)據(jù)量已達到1.46萬億條，數(shù)據(jù)規(guī)模超過2000萬個，數(shù)據(jù)種類超過600個，其具有多源異構(gòu)、規(guī)模大、更新速度快、價值密度低且時間序列性強的特點，傳統(tǒng)數(shù)據(jù)處理技術(shù)難以滿足應(yīng)用對數(shù)據(jù)進行多維度分析的需求。針對調(diào)控數(shù)據(jù)大量來自終端設(shè)備采集和派生的特點，本文在電力調(diào)度通用數(shù)據(jù)對象ID編碼的基礎(chǔ)之上設(shè)計了一種調(diào)控數(shù)據(jù)組合編碼方法，實現(xiàn)更為精細的調(diào)控數(shù)據(jù)建模。調(diào)控數(shù)據(jù)編碼表示為四元組 《 對象類編碼，對象編碼，數(shù)據(jù)管理機構(gòu)代碼，數(shù)據(jù)編碼 》 ，其中對象類編碼對應(yīng)電力調(diào)度通用數(shù)據(jù)對象ID的4位“大類碼”、“小類碼”，對象編碼對應(yīng)電力調(diào)度通用數(shù)據(jù)對象的ID，數(shù)據(jù)管理機構(gòu)代碼對應(yīng)電力調(diào)度通用數(shù)據(jù)對象結(jié)構(gòu)化設(shè)計的數(shù)據(jù)管理機構(gòu)代碼，數(shù)據(jù)編碼是8位全局唯一類型編碼。

　　典型的調(diào)控數(shù)據(jù)編碼如表 1所示。大數(shù)據(jù)平臺處理的數(shù)據(jù)以電網(wǎng)一次設(shè)備運行數(shù)據(jù)為主，也包括設(shè)備的參數(shù)數(shù)據(jù)、環(huán)境數(shù)據(jù)、操作數(shù)據(jù)，以及交易數(shù)據(jù)、社會經(jīng)濟數(shù)據(jù)等等，調(diào)控數(shù)據(jù)編碼可以精確表述上述調(diào)控數(shù)據(jù)更細粒度的物理含義，且調(diào)控數(shù)據(jù)編碼在兩級大數(shù)據(jù)平臺之間充分共享，保證了兩級大數(shù)據(jù)平臺之間數(shù)據(jù)定義的一致性，為實現(xiàn)多級調(diào)控中心全域數(shù)據(jù)統(tǒng)一建模奠定了基礎(chǔ)。調(diào)控數(shù)據(jù)編碼按照上述四元組的規(guī)則編制和擴展，新增調(diào)控數(shù)據(jù)類別時，依據(jù)新增數(shù)據(jù)對象的對象類編碼和數(shù)據(jù)對象編碼進行擴充，即可形成新的數(shù)據(jù)編碼，具有良好的可擴展性。隨著業(yè)務(wù)發(fā)展存量調(diào)控數(shù)據(jù)不再匯集管理時，可將對應(yīng)數(shù)據(jù)歸檔，同時該調(diào)控數(shù)據(jù)編碼狀態(tài)置為當前無效，該機制為調(diào)控數(shù)據(jù)的全生命周期管理提供支持。

　　2.1.2 多源數(shù)據(jù)匯集技術(shù)

　　電力系統(tǒng)的海量數(shù)據(jù)集成技術(shù)已得到應(yīng)用，例如電力營銷系統(tǒng)數(shù)據(jù)集成、特高壓電網(wǎng)調(diào)度自動化系統(tǒng)數(shù)據(jù)集成和配電網(wǎng)規(guī)劃數(shù)據(jù)集成等［21-23］。

　　大數(shù)據(jù)平臺采用廣域分布式部署架構(gòu)，數(shù)據(jù)取自SCADA、OMS、TMR等等多類源端調(diào)控系統(tǒng)以及調(diào)控云上的各類業(yè)務(wù)應(yīng)用。運行數(shù)據(jù)源端部署于國調(diào)、網(wǎng)調(diào)、省調(diào)、地調(diào)以及外部系統(tǒng)接口端等，數(shù)據(jù)主要采用基于消息的多源數(shù)據(jù)分布式匯集方法，定義電力、電量、計劃、預(yù)測、氣象、告警、事件等各類數(shù)據(jù)的消息報文規(guī)范，并基于調(diào)控云廣域消息總線完成分布式數(shù)據(jù)匯集。運行數(shù)據(jù)源端和大數(shù)據(jù)平臺的基礎(chǔ)模型均取自模型數(shù)據(jù)平臺，由運行數(shù)據(jù)源端管理ID映射表，映射到源端調(diào)控系統(tǒng)的模型對象ID。在發(fā)送數(shù)據(jù)時，運行數(shù)據(jù)源端通過ID映射表讀取源端調(diào)控系統(tǒng)對象數(shù)據(jù)并按照映射的云端對象ID上送至大數(shù)據(jù)平臺。截止到2021年5月，調(diào)控大數(shù)據(jù)平臺已經(jīng)部署的運行數(shù)據(jù)源端已超過20種、300個。為保證數(shù)據(jù)匯集的可靠性和實時性，大數(shù)據(jù)平臺融合KAFKA和FLINK等流計算技術(shù)，建立多消費者實例負載均衡等技術(shù)提高數(shù)據(jù)吞吐能力、可靠性和實時性。并針對廣域環(huán)境下通訊中斷或流程銜接不緊密導(dǎo)致數(shù)據(jù)斷流的風(fēng)險，進一步建立數(shù)據(jù)補發(fā)、補召機制，對特定時間點數(shù)據(jù)進行源端補發(fā)或者云端補召?？紤]數(shù)據(jù)準確性和可靠性要求，大數(shù)據(jù)平臺采用多源機制，針對重要一次設(shè)備的電力電量數(shù)據(jù)等由國網(wǎng)省多個源端系統(tǒng)采集及存儲。

　　2.1.3 多源數(shù)據(jù)質(zhì)量管理技術(shù)

　　能否實現(xiàn)數(shù)據(jù)到信息的挖掘，與數(shù)據(jù)質(zhì)量密切相關(guān)。MIT等機構(gòu)對數(shù)據(jù)質(zhì)量管理開展了多項研究［24-26］，國內(nèi)也有學(xué)者開展了電力數(shù)據(jù)質(zhì)量表征、評估和提升技術(shù)研究［27-30］，大數(shù)據(jù)平臺在此基礎(chǔ)之上針對電網(wǎng)調(diào)控數(shù)據(jù)特點對數(shù)據(jù)檢測與清洗技術(shù)進一步優(yōu)化。在數(shù)據(jù)檢測環(huán)節(jié)中，根據(jù)電網(wǎng)運行數(shù)據(jù)的特點對數(shù)據(jù)質(zhì)量問題進行分類，依據(jù)數(shù)據(jù)的完整性、及時性、準確性等質(zhì)量檢測維度，針對每類質(zhì)量問題定制質(zhì)量診斷方法，并根據(jù)現(xiàn)有的問題和特征，預(yù)測未來的數(shù)據(jù)質(zhì)量問題。在數(shù)據(jù)清洗環(huán)節(jié)，根據(jù)電網(wǎng)運行數(shù)據(jù)多源異構(gòu)、規(guī)模大、更新速度快、價值密度低且時間序列性強的特點，完成全網(wǎng)多源數(shù)據(jù)處理、缺失值處理、異常值處理、合理值處理，并完成質(zhì)量治理反饋。

　　全網(wǎng)多源數(shù)據(jù)處理策略是根據(jù)運行數(shù)據(jù)關(guān)聯(lián)的電力調(diào)度數(shù)據(jù)對象所屬調(diào)度管轄權(quán)默認選取，并在默認數(shù)據(jù)源數(shù)據(jù)質(zhì)量異常時，自動選擇其他正常數(shù)據(jù)源的數(shù)據(jù)。例如省級調(diào)度機構(gòu)調(diào)管對象的數(shù)據(jù)優(yōu)先選擇對應(yīng)來自省級數(shù)據(jù)管理機構(gòu)的數(shù)據(jù)序列，當省級數(shù)據(jù)管理機構(gòu)數(shù)據(jù)異常時選擇國調(diào)或網(wǎng)調(diào)數(shù)據(jù)源。

　　缺失值處理采用均值或中位數(shù)等統(tǒng)計特征量替代、人工神經(jīng)網(wǎng)絡(luò)或決策樹等機器學(xué)習(xí)方法補充方式處理，并在數(shù)據(jù)質(zhì)量位中標記，便于人工干預(yù)修正。缺失值處理策略適用于調(diào)控數(shù)據(jù)中的典型連續(xù)型數(shù)值序列，例如電力電量的采集計算值、計劃數(shù)據(jù)及預(yù)測數(shù)據(jù)等。

　　異常值處理針對由于人工錯誤、數(shù)據(jù)采集設(shè)備故障、通信信道故障或其他因素導(dǎo)致的和數(shù)據(jù)樣本偏離正常值的問題進行修正。大數(shù)據(jù)平臺設(shè)計監(jiān)督式、非監(jiān)督式和半監(jiān)督式3類方式實現(xiàn)異常值處理。監(jiān)督式由專家對異常數(shù)據(jù)進行標記訓(xùn)練，并在此基礎(chǔ)上建立分類模型對其他數(shù)據(jù)進行判別；非監(jiān)督式采用統(tǒng)計指標、距離指標等異常指標判斷數(shù)據(jù)異常；半監(jiān)督式基于部分專家標記異常數(shù)據(jù)樣本，并與非監(jiān)督式方法結(jié)合進行判定。異常值處理策略適用于典型連續(xù)型電氣量，例如發(fā)電電力、受電電力等。

　　合理值處理基于電力系統(tǒng)本體特征，采用多個調(diào)控對象或者同一調(diào)控對象的多個屬性進行綜合分析識別數(shù)據(jù)質(zhì)量異常，主要方法包括平衡分析、閾值分析、電力電量分析、潮流分析、狀態(tài)估計等等。典型的例如通過變電站功率平衡分析，識別出線的有功數(shù)據(jù)異常；通過頻率上下限閾值分析，識別頻率值異常；通過電力數(shù)據(jù)的積分計算，識別電量數(shù)據(jù)異常；通過狀態(tài)估計，辨識壞數(shù)據(jù)等等。合理值處理策略需要結(jié)合數(shù)據(jù)和業(yè)務(wù)特征開展，適用典型連續(xù)型電氣量數(shù)據(jù)、氣象數(shù)據(jù)和指標數(shù)據(jù)等等。

　　2.1.4 異構(gòu)調(diào)控數(shù)據(jù)信息融合

　　大數(shù)據(jù)平臺管理了調(diào)控領(lǐng)域的海量異構(gòu)數(shù)據(jù)，既包括來自監(jiān)控系統(tǒng)的運行數(shù)據(jù)，也包括調(diào)度管理產(chǎn)生的業(yè)務(wù)數(shù)據(jù)，以及來自外部的環(huán)境、經(jīng)濟等關(guān)聯(lián)數(shù)據(jù)。這些來自不同業(yè)務(wù)系統(tǒng)源的數(shù)據(jù)常常具有關(guān)聯(lián)性或互補性，通過對多領(lǐng)域多源數(shù)據(jù)融合，可以挖掘出傳統(tǒng)方法無法獲得的知識。大數(shù)據(jù)平臺的數(shù)據(jù)融合主要采用多視角數(shù)據(jù)融合和基于相似性的數(shù)據(jù)融合方法。

　　多視角數(shù)據(jù)融合方法將與某一電網(wǎng)調(diào)度數(shù)據(jù)對象相關(guān)的多源異構(gòu)數(shù)據(jù)進行融合，獲得對該電網(wǎng)調(diào)度數(shù)據(jù)對象更為全面和準確的認知。以電網(wǎng)數(shù)據(jù)對象為例，目前已融合363類數(shù)據(jù)，將與特定電網(wǎng)對象相關(guān)的總加、電量、頻率、拓撲、氣象、日前計劃、日前預(yù)測、故障、拉路、限電、錯避峰等數(shù)據(jù)通過電網(wǎng)對象關(guān)聯(lián)起來，這樣既可以在時間分析上預(yù)測未來信息，也可以在因果分析上追溯故障影響范圍等。為進一步強化多視角數(shù)據(jù)融合，大數(shù)據(jù)平臺將典型的指標和統(tǒng)計特征值［31］納入平臺范疇，根據(jù)對象特性和業(yè)務(wù)需求，按時間、空間、目標、業(yè)務(wù)等不同維度，給出指標計算和特征值統(tǒng)計方法，為實時控制、設(shè)備檢修、清潔能源消納等電網(wǎng)運行管理提供量化依據(jù)。

　　基于相似性的數(shù)據(jù)融合方法針對2個調(diào)控數(shù)據(jù)對象存在一定相似性的現(xiàn)象，將一個調(diào)控數(shù)據(jù)對象的數(shù)據(jù)用于對另一個類似調(diào)控數(shù)據(jù)對象的數(shù)據(jù)分析。以電網(wǎng)特性分析為例，在分析外送型電網(wǎng)運行特征時，當某一地區(qū)電網(wǎng)歷史數(shù)據(jù)不足以支撐數(shù)據(jù)挖掘算法時，可以選擇與之相似的另一個電網(wǎng)對象的數(shù)據(jù)進行分析加權(quán)，得出支持度較高的分析結(jié)果。為進一步強化相似性數(shù)據(jù)融合，大數(shù)據(jù)平臺建立標簽管理機制，形成例如創(chuàng)新高、極熱無風(fēng)、柔性電網(wǎng)、外送型電網(wǎng)、潮汐型電網(wǎng)等若干典型標簽，利用業(yè)務(wù)應(yīng)用提供的關(guān)鍵詞進行信息組織，提高電網(wǎng)業(yè)務(wù)數(shù)據(jù)聚類效率。

　　為進一步強化融合數(shù)據(jù)管理，大數(shù)據(jù)平臺建立了主題管理機制，將主題數(shù)據(jù)按照業(yè)務(wù)主題域劃分，面向用戶提供主題概覽、應(yīng)用分析表管理、相關(guān)聯(lián)數(shù)據(jù)查詢等功能，以多層級可視化方式展示主題、應(yīng)用、表類型和表，減少重復(fù)計算，實現(xiàn)數(shù)據(jù)共享。

　　2.2 異構(gòu)數(shù)據(jù)庫分層統(tǒng)一存儲技術(shù)

　　如圖 4所示，大數(shù)據(jù)平臺采用異構(gòu)數(shù)據(jù)庫混合部署方案，形成軟硬件分層解耦的混合存儲模式，充分發(fā)揮各類數(shù)據(jù)庫的技術(shù)優(yōu)勢，實現(xiàn)海量數(shù)據(jù)的全息存儲與計算分析，提升平臺整體的數(shù)據(jù)服務(wù)效率。

　　圖 4 異構(gòu)數(shù)據(jù)庫統(tǒng)一存儲與訪問Fig. 4 Unified storage and access of heterogeneous data

　　針對離線數(shù)據(jù)，將其存儲于易擴展的分布式存儲系統(tǒng)，承擔(dān)復(fù)雜的、時間窗口要求不高的、關(guān)聯(lián)較低的批量任務(wù)處理與海量歷史數(shù)據(jù)存儲。針對在線數(shù)據(jù)，將百億級以上時序數(shù)據(jù)存儲于分布式列數(shù)據(jù)庫（hadoop database，HBASE）中，承擔(dān)時序數(shù)據(jù)快速檢索任務(wù)；將千萬以上的海量結(jié)構(gòu)化數(shù)據(jù)存儲于大規(guī)模并行數(shù)據(jù)庫（massively parallel processing database，MPP）中，承擔(dān)數(shù)據(jù)實時關(guān)聯(lián)、匯總分析、查詢與可視化任務(wù)；將千萬以內(nèi)的小規(guī)模結(jié)構(gòu)化數(shù)據(jù)存儲關(guān)系庫（relational database，RDB）中，承擔(dān)常規(guī)事務(wù)處理任務(wù)；將設(shè)備關(guān)聯(lián)圖譜、故障關(guān)聯(lián)圖譜等大規(guī)模關(guān)系網(wǎng)絡(luò)數(shù)據(jù)存儲于圖數(shù)據(jù)庫（graph database，GDB）中，承擔(dān)圖的匹配、關(guān)鍵字查詢、分類、聚類和頻繁子圖挖掘等基于圖論的數(shù)據(jù)挖掘任務(wù)。

　　為實現(xiàn)存儲在HBASE、MPP、RDB、GDB中調(diào)控數(shù)據(jù)的透明訪問，在服務(wù)接口層實現(xiàn)統(tǒng)一數(shù)據(jù)服務(wù)，數(shù)據(jù)服務(wù)基于后端管理的數(shù)倉目錄元數(shù)據(jù)實現(xiàn)在線、離線數(shù)據(jù)異構(gòu)存儲訪問的統(tǒng)一。數(shù)倉目錄從物理層模型、電網(wǎng)對象模型、數(shù)據(jù)對象類型等3個維度，對數(shù)據(jù)庫、數(shù)據(jù)表、表結(jié)構(gòu)信息和調(diào)控數(shù)據(jù)編碼等元數(shù)據(jù)信息進行統(tǒng)一管理，如圖 5所示。

　　圖 5 調(diào)控大數(shù)據(jù)多維存儲模型示例Fig. 5 An example of a multi-dimensional storage model for regulating big data

　　2.3 面向調(diào)控對象的調(diào)控數(shù)據(jù)資產(chǎn)管理技術(shù)

　　數(shù)據(jù)作為資源，伴隨著大數(shù)據(jù)時代支撐數(shù)據(jù)交換共享和數(shù)據(jù)服務(wù)應(yīng)用的技術(shù)發(fā)展，不斷積淀的數(shù)據(jù)才可以逐步發(fā)揮數(shù)據(jù)的價值［33-35］。大數(shù)據(jù)平臺引入數(shù)據(jù)資產(chǎn)管理機制，定義調(diào)控數(shù)據(jù)資產(chǎn)及分類原則，實現(xiàn)數(shù)據(jù)資產(chǎn)管理功能，以支持調(diào)控數(shù)據(jù)全域范圍內(nèi)準確規(guī)劃、定義和共享。

　　2.3.1 調(diào)控數(shù)據(jù)資產(chǎn)定義

　　數(shù)據(jù)資產(chǎn)是由企業(yè)擁有或者控制的，能夠為企業(yè)帶來未來經(jīng)濟利益的，以物理或電子的方式記錄的數(shù)據(jù)資源［36］，如文件資料、電子數(shù)據(jù)等。在企業(yè)中，并非所有的數(shù)據(jù)都構(gòu)成數(shù)據(jù)資產(chǎn)，數(shù)據(jù)資產(chǎn)是能夠為企業(yè)產(chǎn)生價值的數(shù)據(jù)資源。

　　大數(shù)據(jù)平臺中管理的調(diào)控數(shù)據(jù)資產(chǎn)包括電網(wǎng)模型數(shù)據(jù)、運行數(shù)據(jù)、文資數(shù)據(jù)和知識數(shù)據(jù)等，是具有調(diào)控業(yè)務(wù)分析挖掘價值的數(shù)據(jù)資源，具有準確、一致、規(guī)范的定義。調(diào)控數(shù)據(jù)資產(chǎn)按照數(shù)據(jù)特征分類管理，分類采用線分類法和面分類法［37］，分類維度包括業(yè)務(wù)屬性、數(shù)據(jù)屬性、時間屬性。

　　2.3.2 調(diào)控數(shù)據(jù)資產(chǎn)管理技術(shù)

　　大數(shù)據(jù)平臺的數(shù)據(jù)資產(chǎn)管理位于分析應(yīng)用層和基礎(chǔ)平臺層之間，處于承上啟下的重要地位。對上支持以價值發(fā)現(xiàn)為導(dǎo)向的應(yīng)用開發(fā)，對下實現(xiàn)數(shù)據(jù)全生命周期的管理，目標是整合調(diào)控數(shù)據(jù)架構(gòu)、設(shè)計數(shù)據(jù)模型，提高數(shù)據(jù)存儲與操作的交互性，注重數(shù)據(jù)使用的安全合規(guī)性，以及數(shù)據(jù)價值的管理。調(diào)控數(shù)據(jù)資產(chǎn)管理技術(shù)主要包括數(shù)據(jù)資產(chǎn)規(guī)劃、數(shù)據(jù)資產(chǎn)目錄以及數(shù)據(jù)資產(chǎn)價值評估等。

　　數(shù)據(jù)資產(chǎn)規(guī)劃對各類對象的數(shù)據(jù)資產(chǎn)進行規(guī)劃管理，對數(shù)據(jù)資產(chǎn)類型和屬性建模，規(guī)范定義數(shù)據(jù)的業(yè)務(wù)含義和物理含義，明確數(shù)據(jù)匯集來源范圍，提升數(shù)據(jù)接入?yún)R集、數(shù)據(jù)融合過程中的一致性。數(shù)據(jù)資產(chǎn)目錄對各類調(diào)控對象的數(shù)據(jù)資產(chǎn)可視化展示，通過靈活便捷的數(shù)據(jù)統(tǒng)計查詢，提高調(diào)控多源海量數(shù)據(jù)的訪問效率，并通過數(shù)據(jù)血緣追蹤數(shù)據(jù)的變化過程。數(shù)據(jù)資產(chǎn)價值評估從數(shù)據(jù)的熱度、時效、質(zhì)量和價值密度等多個維度評估管理數(shù)據(jù)的價值屬性。

　　2.4 面向業(yè)務(wù)分析的數(shù)理方法引擎2.4.1 面向電網(wǎng)調(diào)控業(yè)務(wù)分析的主流算法

　　調(diào)控業(yè)務(wù)具有復(fù)雜程度高、準確性高、針對性強等需求，分析數(shù)據(jù)具有規(guī)模大、數(shù)據(jù)多樣化、價值密度低等特點，本節(jié)綜述了特征提取、關(guān)聯(lián)分析、聚類分析、趨勢預(yù)測、知識發(fā)現(xiàn)等主流算法特性及在電網(wǎng)規(guī)劃、檢修、建設(shè)、運行、監(jiān)控等業(yè)務(wù)的適用性［38-39］。

　　1）特征提取。

　　特征提取是最大程度地刪除特征數(shù)據(jù)中各種冗余屬性，最終保留下有用的關(guān)鍵特征信息。特征提取算法常被用于電網(wǎng)穩(wěn)定性評估、電力現(xiàn)貨市場、電能質(zhì)量分析、狀態(tài)診斷等場景。目前，針對電力系統(tǒng)運行狀態(tài)的分析，常用的特征提取方法主要有主成分分析、屬性約簡方法、混合互信息法等。

　　2）關(guān)聯(lián)分析算法。

　　關(guān)聯(lián)分析算法能夠發(fā)現(xiàn)用傳統(tǒng)的方法無法發(fā)現(xiàn)的項與項或?qū)傩耘c屬性間的關(guān)系規(guī)律，當業(yè)務(wù)存在業(yè)務(wù)關(guān)聯(lián)、因素屬性較多及需要進行共性關(guān)聯(lián)量化分析的時候，算法優(yōu)勢明顯。因此關(guān)聯(lián)分析算法可以被用于設(shè)備故障分析及診斷、電能消費分析、設(shè)備家族缺陷分析等場景，有助于實現(xiàn)數(shù)據(jù)價值挖掘。目前關(guān)聯(lián)分析常用的算法有Apriori算法和FP-Growth算法。

　　3）聚類分析算法。

　　聚類分析是一種探索數(shù)據(jù)分組的統(tǒng)計方法，協(xié)助用戶進行更好的理解數(shù)據(jù)類別，當業(yè)務(wù)存在樣本缺乏明確的屬性、需要進行探索數(shù)據(jù)分類的時候，算法優(yōu)勢明顯。如大規(guī)模電網(wǎng)系統(tǒng)負荷數(shù)據(jù)進行多維度、快速的分類，從而有效辨識系統(tǒng)負荷特性，協(xié)助制定合理和友好的負荷管理策略。聚類分析算法可以被用于用電行為特性分析、新能源發(fā)電預(yù)測、負荷分析等場景，為挖掘潛在的用戶、新能源及可控負荷提供數(shù)據(jù)支撐。常用的聚類算法包括層次化聚類算法、劃分式聚類算法、基于密度及網(wǎng)格的聚類算法等。

　　4）預(yù)測算法。

　　預(yù)測算法主要建立基于歷史、實時、外部環(huán)境等數(shù)據(jù)信息的預(yù)測模型，實現(xiàn)預(yù)測精度的提升，使預(yù)測的過程更為智能化、科學(xué)化，以預(yù)測的精確化支撐業(yè)務(wù)分析的精細化。因此預(yù)測算法可以被用于電力負荷預(yù)測、新能源發(fā)電預(yù)測、故障分析、成本預(yù)算、穩(wěn)定性評估等場景，為對應(yīng)業(yè)務(wù)場景提供數(shù)據(jù)支撐。目前常用的算法包括回歸分析、時間序列模型、神經(jīng)網(wǎng)絡(luò)、隨機森林等。

　　2.4.2 數(shù)理方法引擎

　　考慮電網(wǎng)一體化及各類業(yè)務(wù)數(shù)據(jù)分散分布的特點，針對多源異構(gòu)數(shù)據(jù)在時間維度、空間維度、應(yīng)用維度等的關(guān)聯(lián)性，構(gòu)建適用于電網(wǎng)調(diào)控運行的數(shù)理分析算法引擎，通過可視化、流程化的算法組件模式，實現(xiàn)更友好更便捷更高效地數(shù)據(jù)分析交互任務(wù)。

　　數(shù)理分析算法引擎的功能包括數(shù)據(jù)源管理、組件管理、工程管理、模型管理、任務(wù)調(diào)度管理，通過數(shù)據(jù)庫接口、離線文件方式獲取待分析數(shù)據(jù)，通過拖拽組件的方式進行算法任務(wù)編排，將數(shù)據(jù)輸入輸出、數(shù)據(jù)預(yù)處理、挖掘建模、模型評估等環(huán)節(jié)通過流程化的方式進行連接，通過任務(wù)調(diào)度實現(xiàn)數(shù)據(jù)源及算法工程的定時運行。

　　數(shù)理分析算法引擎融合多類算法框架與編程語言，解決了業(yè)務(wù)人員挖掘分析算法編程成本高、算法驗證與比較過程復(fù)雜的問題，在工程應(yīng)用過程中，減少數(shù)據(jù)挖掘分析驗證與試錯周期。

　　3 工程應(yīng)用

　　大數(shù)據(jù)平臺已經(jīng)在國調(diào)、天津、四川、冀北等調(diào)控云工程中示范應(yīng)用，實現(xiàn)了上述關(guān)鍵技術(shù)的部署測試，已經(jīng)開展并完成了35kV以上電網(wǎng)運行數(shù)據(jù)的匯集與融合，提升了海量運行數(shù)據(jù)的質(zhì)量，提升了大數(shù)據(jù)分析加工能力，實現(xiàn)了運行數(shù)據(jù)共享服務(wù)。

　　1）建立了調(diào)控數(shù)據(jù)全面匯集的技術(shù)體系。

　　截止到2021年5月，采用資產(chǎn)化建模形成600多個數(shù)據(jù)資產(chǎn)種類，匯集數(shù)據(jù)總量達到1.46萬億條，數(shù)據(jù)歷史可追溯至2010年。已經(jīng)匯集的運行數(shù)據(jù)包括電力、電量、計劃、預(yù)測、告警、故障、氣象等，已經(jīng)匯集的文資數(shù)據(jù)包括接線圖、標準制度等。通過持續(xù)開展的數(shù)據(jù)資產(chǎn)化以及數(shù)據(jù)匯集工作，可以逐步解決調(diào)控運行信息在各級調(diào)度機構(gòu)分布分散管理，數(shù)據(jù)存儲時間長短不一、缺乏統(tǒng)籌規(guī)劃、數(shù)據(jù)冗余重復(fù)等問題。

　　2）提升了全網(wǎng)運行數(shù)據(jù)質(zhì)量。

　　大數(shù)據(jù)平臺在通用檢測算法基礎(chǔ)上，結(jié)合了電網(wǎng)業(yè)務(wù)規(guī)則，形成28類校驗規(guī)則，并依據(jù)數(shù)據(jù)的一致性、完整性、及時性、準確性等質(zhì)量檢測維度構(gòu)建可配置、易擴展的電網(wǎng)全景數(shù)據(jù)校驗規(guī)則庫，每天定期對運行數(shù)據(jù)質(zhì)量進行評估，通過多源數(shù)據(jù)的關(guān)聯(lián)互校核和長時間尺度海量遙測數(shù)據(jù)的綜合評估方法提升了數(shù)據(jù)問題檢出能力。國分大數(shù)據(jù)平臺日均匯集數(shù)據(jù)約18億條，通過算法規(guī)則改進，日檢出問題從6450個提高到6838個，問題檢出率提高了6.02%。進一步通過數(shù)據(jù)采集、融合、校驗、修正的全鏈路閉環(huán)管理體系運作，全面提升了全網(wǎng)運行數(shù)據(jù)質(zhì)量。

　　3）提升了調(diào)控數(shù)據(jù)分析加工能力。

　　在基礎(chǔ)指標算法方面，目前國分大數(shù)據(jù)平臺已經(jīng)加工形成主變負載率、線路可用率、頻率合格率、潮流越限運行累計時間和機組利用小時數(shù)等200余個常用調(diào)控運行指標，并建立了這些指標的涵義、計算方法、計量單位等標準。

　　在標簽算法方面，目前國分大數(shù)據(jù)平臺已經(jīng)形成電網(wǎng)負荷創(chuàng)新高、發(fā)電創(chuàng)新高、線路重載、線路越限等30余個標簽，對快速進行電網(wǎng)和一次設(shè)備長周期特性分析提供支持。

　　在分析挖掘應(yīng)用方面，實現(xiàn)了降溫及采暖負荷分析、短期系統(tǒng)負荷預(yù)測、停電窗口期智能編排等應(yīng)用。

　　4）實現(xiàn)了調(diào)控數(shù)據(jù)應(yīng)用服務(wù)的共建共享。

　　大數(shù)據(jù)平臺通過數(shù)據(jù)服務(wù)接口調(diào)用的形式將各類調(diào)控數(shù)據(jù)提供給上層應(yīng)用。

　　數(shù)據(jù)服務(wù)分為原生數(shù)據(jù)服務(wù)和衍生數(shù)據(jù)服務(wù)兩大類。進一步按照數(shù)據(jù)類別細分，原生數(shù)據(jù)服務(wù)包括電力容器生熟數(shù)據(jù)服務(wù)、一次設(shè)備生熟數(shù)據(jù)服務(wù)、電量類生熟數(shù)據(jù)服務(wù)、電力容器特征值數(shù)據(jù)服務(wù)、一次設(shè)備特征值數(shù)據(jù)服務(wù)、檢修計劃數(shù)據(jù)服務(wù)、告警類數(shù)據(jù)服務(wù)、負荷預(yù)測類數(shù)據(jù)服務(wù)、電能計劃類數(shù)據(jù)服務(wù)等；衍生數(shù)據(jù)服務(wù)包括指標定義與查詢服務(wù)、標簽生成服務(wù)與標簽查詢服務(wù)、交流線路指標數(shù)據(jù)服務(wù)、變壓器指標數(shù)據(jù)服務(wù)、發(fā)電廠指標數(shù)據(jù)服務(wù)、發(fā)電機指標數(shù)據(jù)服務(wù)等。截止2021年5月，大數(shù)據(jù)平臺已經(jīng)建設(shè)36類數(shù)據(jù)服務(wù)，實際運行測試平均服務(wù)響應(yīng)時間不超過630ms，并實現(xiàn)了國分與省級大數(shù)據(jù)平臺之間的服務(wù)互通，采用全網(wǎng)通用數(shù)據(jù)對象ID即可直接獲取到所需的運行數(shù)據(jù)，實現(xiàn)全網(wǎng)海量運行數(shù)據(jù)按需服務(wù)、實時共享。

　　4 結(jié)論

　　電網(wǎng)調(diào)控大數(shù)據(jù)平臺依托調(diào)控云平臺構(gòu)建，形成主導(dǎo)、協(xié)同節(jié)點兩級的“物理分布、邏輯統(tǒng)一”部署模式。針對調(diào)控大數(shù)據(jù)兼具工業(yè)自動化數(shù)據(jù)、管理信息和金融數(shù)據(jù)特性，在模型數(shù)據(jù)平臺實現(xiàn)電網(wǎng)模型統(tǒng)一管理的基礎(chǔ)之上，引入數(shù)據(jù)資產(chǎn)管理的方法，建議全網(wǎng)唯一的數(shù)據(jù)編碼，實現(xiàn)全網(wǎng)調(diào)控數(shù)據(jù)資產(chǎn)統(tǒng)一管理，明確數(shù)據(jù)標準、數(shù)據(jù)范圍、數(shù)據(jù)治理方法等。針對海量數(shù)據(jù)的全息存儲與計算分析需求，設(shè)計異構(gòu)數(shù)據(jù)庫混合存儲模式，充分發(fā)揮各類數(shù)據(jù)庫的技術(shù)優(yōu)勢，并在服務(wù)接口層通過統(tǒng)一數(shù)據(jù)服務(wù)實現(xiàn)數(shù)據(jù)透明訪問，提升平臺整體的數(shù)據(jù)服務(wù)效率。針對自動化運行數(shù)據(jù)周期采樣和多源管理的特點，引入多源數(shù)據(jù)匯集、多源數(shù)據(jù)清洗和異構(gòu)融合技術(shù)，解決多源調(diào)控數(shù)據(jù)集成與融合問題，提高了調(diào)控數(shù)據(jù)的完整性、一致性、規(guī)范性，為調(diào)控智能分析應(yīng)用提供高質(zhì)量的數(shù)據(jù)支撐。

　　目前該平臺在國網(wǎng)省調(diào)控中心進行試點建設(shè)，在調(diào)控數(shù)據(jù)全面匯集、數(shù)據(jù)質(zhì)量持續(xù)提升、數(shù)據(jù)分析手段持續(xù)豐富、數(shù)據(jù)應(yīng)用全面共建共享等方面取得突出成效。以調(diào)控大數(shù)據(jù)平臺為基礎(chǔ)，積極探索大數(shù)據(jù)技術(shù)在提升調(diào)度業(yè)務(wù)智能化水平潛在能力，從大電網(wǎng)安全管控、市場化運行、清潔能源消納、源網(wǎng)荷儲調(diào)度等調(diào)控核心業(yè)務(wù)場景開展大數(shù)據(jù)技術(shù)的實踐與應(yīng)用，是下一步需要重點研究的內(nèi)容。

　　審核編輯：黃飛