現代工業物聯網對Azure的分析——第1部分

beplay体育app下载地址客戶利用Azure磚工業物聯網的分析

2020年8月3日在公司博客上

分享這篇文章

這篇文章由三部分組成的係列的工業物聯網聯合分析是由磚和微軟雲解決方案架構團隊的成員。我們要感謝磚解決方案架構師的薩米爾·古普塔和微軟雲解決方案架構師拉娜Koprivica和休伯特Dua貢獻這兩個即將到來的帖子。

工業物聯網(IIoT)已經在過去的幾年裏作為一個基層主要技術堆棧被駕駛在石油天然氣行業廣泛采用和生產使用在製造、化工、公用事業、交通和能源領域。傳統的物聯網係統Scada、曆史學家甚至Hadoop不提供大數據分析功能所需的大多數組織預測優化工業資產由於以下因素。

挑戰	所需的能力
數據量明顯更大的和更頻繁	能夠捕獲和儲存次秒級細粒度的數據可靠和成本有效的從物聯網設備每天流tb的數據
更複雜的數據處理需求	符合acid數據處理,將基於時間窗、聚合軸心,回填,將能夠輕鬆地再加工舊數據
更多的用戶角色想要訪問數據	數據是一個開放的格式和輕鬆地共享操作工程師、數據分析師、工程師、數據和數據科學家沒有堆砌
可伸縮的ML需要決策	能夠快速和協同訓練預測模型顆粒,曆史數據做出明智的資產beplay娱乐ios優化決策
降低成本的需求比以往任何時候都要高	低成本按需獨立平台,尺度數據和工作負載管理前期不需要大Beplay体育安卓版本量資金

讀數據Lakehouse上升探索為什麼lakehouses未來的數據架構和數據倉庫的父親,Bill Inmon。

組織轉向雲計算平台像微軟Azure利用可伸縮,IIoT-enabling技術提供使攝取,處Beplay体育安卓版本理,分析和時間序列數據來源如曆史學家和SCADA係統簡單。

在第1部分中,我們討論了端到端技術堆棧和角色Azure磚在現代物聯網工業應用程序架構和設計分析。

在第2部分中,我們將深入探討了現代IIoT分析部署,攝取實時機器的數據從現場設備到Azure IIoT數據存儲和湖湖直接執行複雜時間序列處理數據。

在第3部分中,我們將看看機器學習與工業物聯網數據和分析。

用例——風力渦輪機的優化

大多數IIoT分析項目旨在最大化短期利用工業資產同時最小化其長期維護成本。在本文中,我們專注於一個假設的能源提供者試圖優化其風力渦輪機。最終的目標是確定最優的渦輪機操作參數,最大化每個渦輪機的輸出功率,同時最小化其失敗的時候了。

這個項目的最後一個構件是:

下麵的建築展示了一個現代,許多組織所使用的最佳平台,利用Azure提供IIoT分析。Beplay体育安卓版本

這種架構的一個關鍵組件是Azure數據湖店(ADLS),使寫一次,經常訪問分析模式在Azure。然而,數據湖泊無法單獨解決與時間序列流媒體數據的真實世界的挑戰。三角洲存儲格式提供了一層彈性和性能在所有數據存儲在ADLS來源。專門為時間序列數據,δ提供了以下優勢ADLS其他存儲格式:

所需的能力	其他格式ADLS Gen 2	三角洲格式ADLS Gen 2
統一批&流	湖泊經常結合數據流存儲像CosmosDB,導致一個複雜的架構	符合acid事務將使數據工程師執行流攝取和曆史上ADLS批量加載到相同的位置
模式的實施和發展	數據湖泊不執行模式,要求所有數據被推到一個關係數據庫的可靠性	默認模式是實施。隨著新物聯網設備被添加到數據流,安全模式可以進化所以下遊應用程序不失敗
高效的插入	和合並數據湖泊不支持在線更新,要求刪除和插入整個分區執行更新	合並命令是有效的情況下處理延遲物聯網閱讀,修改維度表用於實時濃縮,或者數據需要再加工。
文件壓縮	流時間序列數據到數據湖泊生成成百上千的小文件。	在三角洲Auto-compaction優化文件大小增加吞吐量和並行性。
多維聚簇	湖泊提供下推過濾數據分區	ZORDERing時序等領域時間戳或傳感器ID允許磚來過濾,加入這些列100 x速度比簡單的分區技術。