加速Grid-Edge分析使用COMTRADE文件與Apache火花

穩定、可靠的發電和交貨對我們現代的生活方式至關重要。但電網是不斷發展的,所以現在比在第一個100年的存在,這使得發電機必須遵守已建立的標準。通過堅持標準,輸配電線路、變電站、變壓器和其他組件組成網格協同工作提供可預測的和高質量的消費者。

確保動力輸送堅持標準、智能電子設備(ied)包括保護繼電器、數字故障記錄器,相量測量單元(pmu)和電能質量監控部署在電力變電站密切監控流經電網的特點。這些簡易爆炸裝置迅速樣本數量和/或得到電子電壓、電流、功率、頻率、相角、有效值、諧波等。當檢測到非正常的條件,如電壓跌落或電氣故障,簡易爆炸裝置包測量之前和期間異常事件作為行業標準COMTRADE文件。這些文件的一個重要元素診斷和糾正導致這類事件的條件。

COMTRADE文件格式最初指定的電氣和電子工程師學會在IEEE Std C37.1111991年作為一個“共同為電力係統暫態數據交換格式”。IEEE批準修訂1999年和2013年保持格式的相關性在麵對不斷發展的技術需求。2013年版是在合作完成國際電工委員會同時,發表IEC 60255 - 24:2013。

今天,各種專門的軟件包支持COMTRADE格式文件的分析,但這些軟件包通常處理數據在一個單一的過程。隨著越來越多的從業者在電子和電氣工程領域的探索使用機器學習,並隨著數據量的不斷增長,人們越來越需要支持的COMTRADE數據在分布式計算係統(比如Apache火花。

理解COMTRADE文件

許多組織在電氣工程領域積累了大量的寶貴COMTRADE數據。記錄一個事件,COMTRADE格式指定創建一個強製配置文件(. cfg)和一個強製性的數據(.dat)文件中更高層次的細節影響的解釋各種閱讀和閱讀本身,分別記錄。附加文件可能包含在文件的收集圍繞一個特定的電氣幹擾(如頭文件和信息文件),但這些都是可選的,並不總是被俘。

這些文件需要的變量結構包含一個配置文件。此外,可能需要閱讀多個測量數據存儲在單獨的COMTRADE文件生成很多秒,分鍾甚至幾小時。這些挑戰使COMTRADE文件的閱讀通用數據和分析平台的一項艱巨的任務。Beplay体育安卓版本專業圖書館,就像開源comtrade圖書館在Python中,出現了協助組織與個人的數據集的閱讀,但是閱讀大量的這些文件仍然可以是一個挑戰。

使用COMTRADE文件與Apache火花

值得慶幸的是,現代的分析平台,比如Apache火花,是高度Beplay体育安卓版本可擴展的。通過一個用戶定義函數,各種文件的數據可以使用專門的圖書館,閱讀可以返回一組統一的數據輸出。支持複雜的數據結構,這些數據可以返回的方式尊重更高級的配置元素之間的關係和底層的讀數,同時仍然允許分析師可以輕鬆訪問元素的不同部分的數據結構。

雖然這個數據可以堅持更符合本機COMTRADE數據結構,許多分析師可能會發現,進一步簡化,如配置細節的分離到一個表和底層的數據到另一個,可以簡化數據的檢索用於機器學習練習而不影響信息本身的完整性。采用這種模式使組織能夠提供這些數據文件更廣泛的一係列廣泛的分析師和數據科學家,允許他們探索新的和新穎的分析方法。

把它付諸實踐

證明這個模式,我們已經開發出一種解決方案加速器集中在使用的COMTRADE數據格式。使用大量的COMTRADE格式的文件,我們將演示如何將這些可能訪問和處理大規模使用Apache火花在磚平台運行。Beplay体育安卓版本從這些文件中提取的數據持久化到一個小組內有計劃的表,這些表中的數據是杠杆在訓練中一個簡單的故障檢測模型使用一個卷積神經網絡方法被推廣為後期的電氣工程師工作結合數據科學家。我們希望組織專注於電力生產、電力交付,電能質量和電能的利用可以將模式演示了在這個加速器,采用他們允許使用更多的COMTRADE信息資產。

立即下載