Azure雲集成演示磚

創建Azure Azure磚工廠集成的數據添加一個Azure管道磚筆記本的活動。在活動中,我添加一個新的Azure磚與服務指向一個Azure磚工作區並進行適當的配置,以使用現有的交互式計算集群。最後,我選擇一個筆記本路徑的磚工作區將用於轉換數據和負載成δ湖。

當我運行的管道,輸出窗口顯示已經運行的不同的活動,在我磚活動,我可以瀏覽到管道運行時執行的筆記本。

從元數據我們可以看到這個筆記本成功執行,花了23秒。

在代碼中真正的工作開始當我創建一個名為“維護頭DF”的DataFrame讀取鋪文件ADF滴到著陸區。即使我讀拚花的數據,格式是“雲文件”因為我使用自動加載程序來自動檢測新文件,因為他們在我著陸區土地。我也為我創建一個DataFrame功率輸出數據。我寫我的DataFrame三角洲湖表使用writeStream命令,指定格式的三角洲,並提供表寫在Azure湖數據存儲位置。我也使用一個選項稱為“triggerOnce”程序代碼流管道,但運行它作為一個麵向批處理的執行。

流數據管道與物聯網事件中心,引發流

接下來,我們使用一個物聯網模擬器由Azure發送實時流媒體數據有效載荷提供類似由真正的風力渦輪機到Azure物聯網事件中心。當我們按下“運行”按鈕,模擬器開始發送遙測和天氣數據到物聯網中心每一秒。

在活動中心指標,我們可以看到模擬器運行和發送新消息事件中心為我們說話。

在蔚藍的磚,我們創建了一個筆記本,上麵寫著這個從物聯網事件流數據中心。代碼的第一部分從物聯網設備原始JSON數據解析到DataFrame列。如您所見,使用火花連接器連接很簡單的活動中心。然後我們天氣數據和渦輪機數據分割成不同DataFrames,並將數據存儲在三角洲格式。三角洲格式是三角洲Lakehouse的基礎架構,並提供流媒體事務和增量數據加載數據湖。

在這個可視化流DataFrame,你可以看到數據刷新生活,用新的數據點到達每一秒。

我們也可以創建一個為每個小時的滾動窗口滾動聚合,並將它存儲在三角洲格式在銀層,為下遊數據分析師和應用程序使用。

提供黃金三角洲湖與SQL Azure突觸專用池表

在第三部分的演示,我們通過結合信息從提高數據維護係統(由批處理加載)物聯網和遙測數據流(加載)。之後,我們將結果存儲在一個黃金三角洲湖湖表在Azure數據存儲,並發布SQL Azure突觸分析專用池。

黃金三角洲湖表將用於科學和機器學習的數據,以及數據探索和數據分析直接在磚筆記本和磚的SQL執行分析。加載到一個突觸專用的SQL版本池通常是一個較小的表與高級聚合用於高並發性,低延遲的工作負載。

突觸SQL Azure磚提供了一個高性能的連接器池。這個連接器既支持批處理和流刷新。在這種情況下,渦輪黃金表不斷刷新在線更新。

在SQL數據可視化瀏覽和分析

簡化流程和獲取數據的業務更快,許多組織使用磚使報告直接從三角洲湖SQL BI分析和權力。作為一個業務分析師,我可以看到SQL分析數據提供給我。我創建了一個新的查詢通過單擊“新查詢”按鈕在UI中。在瀏覽器的數據,我可以連接到物聯網演示數據庫,看看表提供給我,他們的元數據。我可以查詢渦輪黃金表,瀏覽數據,甚至使簡單的數據可視化。

連接到電源與SQL BI分析端點

但是如果我真的需要我的數據,Azure磚與權力BI通過一個集成的優化連接器提供了一個安全的,更多的交互式數據可視化經驗數據存儲在您的數據。連接電源BI磚SQL的分析,我瀏覽到端點和檢查我的端點的連接信息連接細節選項卡。從內部權力BI,點擊“獲取數據”>“,”>“Azure,”>“蔚藍的磚,然後連接。“我複製服務器主機名和HTTP路徑信息從我的端點到BI。可選地,我可以輸入數據庫名稱,選擇“導入”或“DirectQuery”,然後點擊“OK”。

當表和視圖列表出現在navigator UI,我可以選擇渦輪黃金表,單擊“加載。“一旦權力BI加載數據到數據模型,我可以開始拖放字段列表到我的畫布上,解剖數據交互,甚至創造視覺吸引力,企業級報告和儀表板可以發布到BI服務和與我的團隊分享。