基于隨機(jī)矩陣?yán)碚摰闹悄茈娋W(wǎng)大數(shù)據(jù)體系結(jié)構(gòu)設(shè)計(jì)

　　摘 要：針對(duì)智能電網(wǎng)數(shù)據(jù)繁多、用戶應(yīng)用困難的技術(shù)問題，提出了新型的大數(shù)據(jù)驅(qū)動(dòng)方法，并設(shè)計(jì)出基于隨機(jī)矩陣?yán)碚撎幚碇悄茈娋W(wǎng)大數(shù)據(jù)的系統(tǒng)。通過隨機(jī)矩陣?yán)碚摻㈦S機(jī)矩陣算法模型，對(duì)智能電網(wǎng)大數(shù)據(jù)庫中的數(shù)據(jù)獲取樣本，并進(jìn)行訓(xùn)練、學(xué)習(xí)，建立用戶需求的數(shù)據(jù)模型。通過計(jì)算，將隱藏在智能電網(wǎng)大數(shù)據(jù)中的宏觀數(shù)據(jù)轉(zhuǎn)換成微觀數(shù)據(jù)，供用戶參考使用，從本質(zhì)上發(fā)現(xiàn)影響智能電網(wǎng)正常運(yùn)行的參數(shù)。計(jì)算數(shù)據(jù)不僅可以本地顯示，還能夠遠(yuǎn)程上傳到SG186營銷系統(tǒng)，供各種用戶使用，同時(shí)，還可以通過無線通訊的方式上傳云端，實(shí)現(xiàn)計(jì)算數(shù)據(jù)的永久性保存。設(shè)計(jì)的方案隨機(jī)矩陣?yán)碚撍惴ㄒ氲街悄茈娋W(wǎng)大數(shù)據(jù)體系，不僅提高了智能電網(wǎng)大數(shù)據(jù)的直觀顯示，還為后續(xù)工作的進(jìn)一步開展提供技術(shù)參考。

　　關(guān)鍵詞：智能電網(wǎng);隨機(jī)矩陣?yán)碚?算法模型;云端;大數(shù)據(jù)庫

　　《國家電網(wǎng)》雜志是國家電網(wǎng)公司系統(tǒng)最高層次的刊物，主要面向公司系統(tǒng)各單位廣大干部職工以及政府部門、社會(huì)組織、電力客戶和有關(guān)企事業(yè)單位，及時(shí)準(zhǔn)確地傳達(dá)國家電網(wǎng)公司黨組的各項(xiàng)決策和工作部署。

　　隨著智能電網(wǎng)技術(shù)的飛速發(fā)展，智能電網(wǎng)產(chǎn)生的拓?fù)浣Y(jié)構(gòu)也異常錯(cuò)綜復(fù)雜，各種智能電網(wǎng)數(shù)據(jù)互相交叉、滲透[1-2]。智能電網(wǎng)數(shù)據(jù)目前已經(jīng)成為異常復(fù)雜且難以處理的工程大型數(shù)據(jù)，同時(shí)智能電網(wǎng)在運(yùn)行過程中還存在諸如數(shù)據(jù)源多元化、數(shù)據(jù)異構(gòu)、同步運(yùn)行等特點(diǎn)，智能電網(wǎng)網(wǎng)絡(luò)中的復(fù)雜拓?fù)浣Y(jié)構(gòu)以及運(yùn)行過程中的負(fù)荷劇增、猛增等都會(huì)對(duì)智能電網(wǎng)的正常運(yùn)行產(chǎn)生極大的影響[3-5]。

　　由于智能電網(wǎng)大數(shù)據(jù)存在規(guī)模巨大、種類繁多、產(chǎn)生速度快、數(shù)據(jù)維度高等特征，用戶難以從浩瀚的大數(shù)據(jù)中獲取有效的電網(wǎng)數(shù)據(jù)信息，也很難對(duì)從智能電網(wǎng)中獲得的宏觀數(shù)據(jù)進(jìn)行微觀分析，并捕捉稍瞬即逝的電網(wǎng)數(shù)據(jù)信息，以揭示潛藏在數(shù)據(jù)本身中的技術(shù)問題。因此，如何從海量的智能電網(wǎng)數(shù)據(jù)庫中提取數(shù)據(jù)信息進(jìn)行即時(shí)、多樣、真實(shí)地分析是目前亟待解決的技術(shù)問題。基于此，基于隨機(jī)矩陣?yán)碚?randommatrixtheory，RMT)設(shè)計(jì)并研究了智能電網(wǎng)大數(shù)據(jù)體系結(jié)構(gòu)[6-8]。隨機(jī)矩陣?yán)碚摶诮y(tǒng)計(jì)學(xué)原理來分析各種數(shù)據(jù)之間的相關(guān)性，通過建立隨機(jī)矩陣模型提取并分析電網(wǎng)數(shù)據(jù)信息，從而及時(shí)、準(zhǔn)確地處理智能電網(wǎng)中的撲朔迷離的多層次數(shù)據(jù)，便于用戶提前發(fā)現(xiàn)問題、跟蹤、分析、診斷等，從而保證電網(wǎng)系統(tǒng)的正常運(yùn)行[9-10]。下面對(duì)技術(shù)方案做詳細(xì)描述。

　　1 大數(shù)據(jù)體系構(gòu)架設(shè)計(jì)

　　設(shè)計(jì)的基于隨機(jī)矩陣?yán)碚撎幚碇悄茈娋W(wǎng)大數(shù)據(jù)的體系構(gòu)架，通過建立隨機(jī)矩陣?yán)碚撃Ｐ蛯?duì)大數(shù)據(jù)進(jìn)行處理、相關(guān)性分析、特征的表征等，使得海量的智能電網(wǎng)數(shù)據(jù)、多維度數(shù)據(jù)、異源數(shù)據(jù)等通過構(gòu)造矩陣的方式可視化，直觀反映電網(wǎng)系統(tǒng)的運(yùn)行狀態(tài)。在本架構(gòu)設(shè)計(jì)中，系統(tǒng)包括大數(shù)據(jù)管理平臺(tái)、數(shù)據(jù)監(jiān)控中心、電力營銷數(shù)據(jù)管理中心。其中，大數(shù)據(jù)管理平臺(tái)接收大型專變終端用戶、中小型專變用戶、單/三相一般工商用戶、居民用電用戶、公用配變考核計(jì)量、變電站關(guān)口等智能電網(wǎng)運(yùn)行數(shù)據(jù)，通過數(shù)據(jù)輸入使得各種大數(shù)據(jù)在大數(shù)據(jù)管理平臺(tái)進(jìn)行統(tǒng)一分類、處理、分析、計(jì)算、顯示等管理，如圖1所示。

　　大數(shù)據(jù)管理平臺(tái)設(shè)置有數(shù)據(jù)存儲(chǔ)中心、數(shù)據(jù)處理單元等，數(shù)據(jù)處理單元從數(shù)據(jù)存儲(chǔ)中心調(diào)取智能電網(wǎng)數(shù)據(jù)，并建立隨機(jī)矩陣模型，通過隨機(jī)矩陣算法對(duì)智能電網(wǎng)大數(shù)據(jù)進(jìn)行分析、處理。大數(shù)據(jù)管理平臺(tái)可以在數(shù)據(jù)存儲(chǔ)中心中存儲(chǔ)，數(shù)據(jù)存儲(chǔ)中心為基于Hadoop平臺(tái)的大型Hbase數(shù)據(jù)庫，其具有結(jié)構(gòu)化的數(shù)據(jù)和非結(jié)構(gòu)化的數(shù)據(jù)，非結(jié)構(gòu)化的可以數(shù)據(jù)在Hadoop平臺(tái)中的HDFS文件系統(tǒng)進(jìn)行存儲(chǔ)。在Hadoop平臺(tái)中的各種大數(shù)據(jù)可以實(shí)現(xiàn)分布式存儲(chǔ)、超融合VS分布式、刪重和壓縮以及整合分析等功能。處理后的數(shù)據(jù)通過數(shù)據(jù)診斷甄別數(shù)據(jù)真?zhèn)危⑼ㄟ^顯示器進(jìn)行數(shù)據(jù)顯示。用戶可通過該終端直觀地看出數(shù)據(jù)運(yùn)算結(jié)果，同時(shí)，處理數(shù)據(jù)可通過數(shù)據(jù)監(jiān)控中心遠(yuǎn)程監(jiān)控，進(jìn)而從更高層次上觀測(cè)智能電網(wǎng)數(shù)據(jù)情況。監(jiān)控?cái)?shù)據(jù)可通過無線通訊的方式上傳云端，通過云端數(shù)據(jù)庫實(shí)現(xiàn)數(shù)據(jù)的永久性存儲(chǔ)。監(jiān)控?cái)?shù)據(jù)也可以通過通訊協(xié)議(Modbus協(xié)議，諸如TCP/IP協(xié)議)實(shí)現(xiàn)遠(yuǎn)程在線傳輸?shù)诫娏I銷數(shù)據(jù)管理中心(比如SG186營銷系統(tǒng))，在該系統(tǒng)實(shí)現(xiàn)對(duì)數(shù)據(jù)、客戶的檔案管理，諸如電費(fèi)計(jì)算、線損統(tǒng)計(jì)、分析、營銷等業(yè)務(wù)供用戶使用。

　　2 隨機(jī)矩陣?yán)碚摰慕：蛻?yīng)用

　　2.1 隨機(jī)矩陣?yán)碚摰慕?/p>

　　隨機(jī)矩陣?yán)碚撌峭ㄟ^統(tǒng)計(jì)、分析智能電網(wǎng)數(shù)據(jù)的能譜和本征態(tài)，得出實(shí)際測(cè)量中的隨機(jī)程度，進(jìn)而揭示實(shí)際數(shù)據(jù)蘊(yùn)含的整體關(guān)聯(lián)的事件特征。下面構(gòu)建隨機(jī)矩陣?yán)碚撃Ｐ蛯?duì)智能電網(wǎng)數(shù)據(jù)的相關(guān)性進(jìn)行計(jì)算。

　　2.2 隨機(jī)矩陣?yán)碚摰膽?yīng)用

　　基于上述模型的建立，將上述建立的數(shù)據(jù)模型應(yīng)用到電能計(jì)量的影響量的評(píng)估上，觀察電網(wǎng)中隱藏的外在參數(shù)對(duì)電能計(jì)量數(shù)據(jù)的影響情況。在本文設(shè)計(jì)的方案中，忽略數(shù)據(jù)輸入的步驟，直接從大數(shù)據(jù)管理平臺(tái)中的數(shù)據(jù)存儲(chǔ)中心中提取數(shù)據(jù)，然后進(jìn)行下一步的操作，其具體步驟如圖2所示。

　　(1)從大數(shù)據(jù)管理平臺(tái)中提取智能電網(wǎng)數(shù)據(jù);智能電網(wǎng)電網(wǎng)數(shù)據(jù)錯(cuò)綜復(fù)雜，根據(jù)用戶需要，提取有待評(píng)估的數(shù)據(jù)類型;比如電能計(jì)量的功率數(shù)據(jù)，諸如耐壓數(shù)據(jù)、外觀數(shù)據(jù)、紋波、功率、電壓、電流等，影響電網(wǎng)運(yùn)行的數(shù)據(jù)類型，諸如振動(dòng)、溫度、濕度、磁場(chǎng)、諧波、其他雜波、負(fù)載等數(shù)據(jù)。為了研究的便利，僅提取樣本數(shù)據(jù)作為參考。

　　(2)對(duì)提取的大數(shù)據(jù)預(yù)處理，保留有效數(shù)據(jù)，通過數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)規(guī)約或數(shù)據(jù)變換的方式對(duì)提取的數(shù)據(jù)預(yù)處理，使得預(yù)處理后的數(shù)據(jù)更有效地用于實(shí)踐。大數(shù)據(jù)的處理通常是實(shí)時(shí)處理，首先將采集到的不同類型數(shù)據(jù)進(jìn)行簡單都處理，比如進(jìn)行數(shù)據(jù)格式的轉(zhuǎn)換，將ip轉(zhuǎn)換成容易識(shí)別的地址，將包含信息量少或者無用的數(shù)據(jù)過濾掉等，然后進(jìn)行簡單的加工處理，比如歸一化處理，在本步驟中，包括將模擬量轉(zhuǎn)換為數(shù)字量的步驟。在此，不做詳細(xì)說明。

　　(3)建立隨機(jī)矩陣模型，基于矩陣模型計(jì)算出相關(guān)數(shù)據(jù)，如圖3所示。

　　在該步驟中，主要將處理后的純凈數(shù)據(jù)輸入到建立好的數(shù)據(jù)模型中，輸出用戶需要的數(shù)據(jù)。首先對(duì)處理后的數(shù)據(jù)進(jìn)行T次采樣，構(gòu)建狀態(tài)數(shù)據(jù)矩陣。即構(gòu)建：以下數(shù)據(jù)以數(shù)值的方式表示，比如

　　由于矩陣的規(guī)模和篇幅的限制，在此僅僅做示例性說明，不再將矩陣按其真實(shí)規(guī)模展開。

　　在步驟中，按照標(biāo)準(zhǔn)化后的標(biāo)準(zhǔn)化公式(見公式4)來計(jì)算，根據(jù)公式9求出奇異值等同矩陣，根據(jù)公式10求出奇異值計(jì)算，最后根據(jù)公式8求出Dstd的值。公式在此不做重復(fù)描述，根據(jù)上文列出的公式，分別輸入采樣數(shù)據(jù)，求出各個(gè)公式的值。

　　(4)利用隨機(jī)矩陣模型分析大數(shù)據(jù)，當(dāng)計(jì)算出標(biāo)準(zhǔn)化矩陣積Dstd的特征值分布時(shí)，便可評(píng)估電網(wǎng)雜波對(duì)電能計(jì)量計(jì)算誤差的影響，Dstd越大，影響量越大。由于D1表示的數(shù)據(jù)集合為影響智能電網(wǎng)正常運(yùn)行(諸如諧波、雜波干涉等)，數(shù)據(jù)集合{P1，P2，P3，…，PM}中表示不同的參數(shù)，電能計(jì)量(如電流、電壓、功率等)的數(shù)據(jù)集合為{Q1，Q2，Q3，…，QN}中也表示不同的集合，因此在實(shí)際應(yīng)用時(shí)，根據(jù)選擇數(shù)據(jù)類型而構(gòu)建矩陣。

　　(5)將分析的大數(shù)據(jù)進(jìn)行診斷、顯示、上傳。根據(jù)用戶需要選擇后續(xù)處理措施，比如本地?cái)?shù)據(jù)顯示，通過數(shù)據(jù)監(jiān)控中心遠(yuǎn)程監(jiān)控?cái)?shù)據(jù)，上傳電力營銷數(shù)據(jù)管理中心進(jìn)行綜合管理等。

　　(6)數(shù)據(jù)判斷，判斷輸出數(shù)據(jù)是夠滿意，如果不滿意，則重新計(jì)算，如果滿意，則任務(wù)結(jié)束。

　　3 方案實(shí)驗(yàn)及分析

　　在試驗(yàn)時(shí)，選用基于Matpower的IEEE-118節(jié)點(diǎn)的仿真系統(tǒng)系統(tǒng)。在仿真系統(tǒng)中設(shè)置電網(wǎng)異常數(shù)據(jù)參數(shù)，比如，電網(wǎng)雜波干擾、振動(dòng)、溫濕度、諧波干擾、異常事件(諸如符合突然增加)等，然后獲取電能計(jì)量數(shù)據(jù)，將正常測(cè)量的電能計(jì)量數(shù)據(jù)輸入仿真系統(tǒng)。假設(shè)矩陣D1 = 80*150，D2 = 400*500，根據(jù)公式Dstd = [w1，w1，w1……wM+N]T進(jìn)行計(jì)算，其中D1分別為溫度、負(fù)荷、濕度、諧波、磁場(chǎng)數(shù)據(jù)構(gòu)成的矩陣。在實(shí)施例時(shí)間，D1構(gòu)成5個(gè)矩陣，D2為電能計(jì)量參數(shù)(電流、電壓、功率、紋波等)，其數(shù)據(jù)樣本見表1所示。由于智能電網(wǎng)的影響因子頗多，本文不做一一說明。僅以溫度、負(fù)荷、濕度、諧波、磁場(chǎng)作為影響參數(shù)作為分析。

　　根據(jù)上述數(shù)據(jù)，應(yīng)用上文提高的公式，將結(jié)算結(jié)果匯成曲線圖，如下文所述。

　　對(duì)上述各個(gè)試驗(yàn)項(xiàng)目做失效統(tǒng)計(jì)，統(tǒng)計(jì)在2000小時(shí)內(nèi)的記錄變化，失效率如圖9所示。

　　電網(wǎng)系統(tǒng)中還含有信號(hào)網(wǎng)絡(luò)拓?fù)渥兓⒇?fù)荷異常、短路/斷路等情況，檢測(cè)效果與上文描述類似。通過隨機(jī)矩陣?yán)碚摱伎梢员普娴孬@取智能電網(wǎng)數(shù)據(jù)。通過隨機(jī)矩陣?yán)碚撘部梢詫?duì)智能電網(wǎng)數(shù)據(jù)進(jìn)行耗損評(píng)估，由于篇幅的限制，本文僅對(duì)智能電網(wǎng)不穩(wěn)定因素對(duì)電能計(jì)量測(cè)量的影響作為實(shí)驗(yàn)分析。通過上述試驗(yàn)，隨機(jī)矩陣?yán)碚撛谔幚碇悄茈娋W(wǎng)大數(shù)據(jù)方面具有明顯的直觀顯示。

　　4 結(jié) 論

　　基于隨機(jī)矩陣?yán)碚搶?duì)智能電網(wǎng)數(shù)據(jù)進(jìn)行了分析和試驗(yàn)，通過隨機(jī)矩陣建模使用后對(duì)智能電網(wǎng)大數(shù)據(jù)的認(rèn)知提供了直觀的視覺識(shí)別，該種方案可以充分利用大數(shù)據(jù)庫系統(tǒng)中各種數(shù)據(jù)信息作為初始信息數(shù)據(jù)，然后利用隨機(jī)矩陣建模方法輸出不同的數(shù)據(jù)類型，使得用戶從宏觀的高緯度電網(wǎng)數(shù)據(jù)獲取數(shù)據(jù)微觀的本質(zhì)規(guī)律，從而從根源上解決智能電網(wǎng)運(yùn)行過程中存在的問題，為智能電網(wǎng)的健康、綠色運(yùn)行提供較為有價(jià)值的技術(shù)參考，同時(shí)也具有較好的學(xué)術(shù)研究意義以及工程應(yīng)用價(jià)值。

　　參 考 文 獻(xiàn)

　　[1] 陳星豪，黃柳萍，陶國飛. 基于隨機(jī)矩陣?yán)碚摰碾娏Υ髷?shù)據(jù)表征方法[J].電網(wǎng)技術(shù)，2017，36(3)：35—38.

　　[2] 郝然，艾芊，肖斐. 基于多元大數(shù)據(jù)平臺(tái)的用電行為分析構(gòu)架研究[J]. 電力自動(dòng)化設(shè)備，2017，37(8)：26—33.

　　[3] 王遠(yuǎn)，陶燁，蔣英明，等. 智能電網(wǎng)時(shí)序大數(shù)據(jù)實(shí)時(shí)處理系統(tǒng)[J]. 計(jì)算機(jī)應(yīng)用，2015，(z2)： 93—97.

　　[4] 劉廣一，朱文東，陳金祥，等. 智能電網(wǎng)大數(shù)據(jù)的特點(diǎn)、應(yīng)用場(chǎng)景與分析平臺(tái)[J].南方電網(wǎng)技術(shù)，2016，10(5)：102—110.

　　[5] 賀紅燕. 基于大數(shù)據(jù)的智能電網(wǎng)關(guān)鍵技術(shù)研究[J]. 電源技術(shù)，2016，40(8)：1713—1714.

　　[6] 冉亮，李煒，孫向聚. 基于大數(shù)據(jù)技術(shù)的智能電網(wǎng)系統(tǒng)應(yīng)用研究[J].自動(dòng)化與儀器儀表，2017，(9)： 182—183.

　　[7] 孟祥萍，周來，王暉，等. 云計(jì)算技術(shù)在未來智能電網(wǎng)信息處理平臺(tái)中的應(yīng)用[J].計(jì)算機(jī)測(cè)量與控制，2015，23(10)：265—268.

　　[8] 葛磊蛟，王守相，瞿海妮. 智能配用電大數(shù)據(jù)存儲(chǔ)架構(gòu)設(shè)計(jì)[J]. 電力自動(dòng)化設(shè)備，2016，36(6)： 194—202.

　　[9] 徐重酉，韓翊，賀興. 等. 基于隨機(jī)矩陣?yán)碚摰呐潆娋W(wǎng)陣列薄弱性評(píng)估系統(tǒng)設(shè)計(jì)[J]. 電器與能效管理技術(shù)，2018，(9)： 522—526+552.

　　[10] 王奇，莊遠(yuǎn)燦，閻帥，等. 基于隨機(jī)矩陣?yán)碚摰慕恢绷鬏旊娡ǖ谰€損大數(shù)據(jù)關(guān)聯(lián)特性分析[J]. 電力自動(dòng)化設(shè)備，2018，38(5)：77—83.