90 +數據源連接到Azure磚和Azure湖數據工廠

得到的早期預覽O ' reilly的新電子書一步一步的指導你需要開始使用三角洲湖。

---

數據的湖泊使組織能夠始終如一地交付價值和洞察力通過安全、及時獲得各種數據源。旅程的第一步就是編排和自動化攝入與健壯的數據管道。作為數據數量、種類和速度迅速增加,有一個更大的可靠和安全的管道需要提取、轉換和加載(ETL)數據。

磚客戶過程每個月兩個ebeplay体育app下载地址b(20億字節)的數據Azure磚是增長最快的數據與人工智能服務微軟Azure今天。Azure磚之間的緊密集成和其他Azure服務使客戶能夠簡化和規模數據攝入管道。beplay体育app下载地址例如,集成Azure Active Directory (Azure廣告)使一致的基於雲的身份和訪問管理。同時,與湖Azure數據存儲集成(ADLS)提供高度可伸縮的、安全的存儲大數據分析和Azure數據工廠(ADF)使大規模混合簡化ETL數據集成。

圖:批ETL Azure數據工廠和Azure磚

連接、攝取和轉換數據用一個工作流

ADF包括90 +內置數據源連接器並無縫地運行Azure磚筆記本和攝取所有的數據源連接成一個單一數據湖。ADF還提供內置的工作流控製、數據轉換、管道調度、數據集成和更多的功能來幫助您創建可靠的數據管道。ADF使客戶能夠攝取原始beplay体育app下载地址格式的數據,然後提煉數據,將其轉化為青銅、白銀和黃金表Azure磚和三角洲湖。例如,客戶經常使用Azurbeplay体育app下载地址e ADF磚三角洲湖啟用SQL查詢的數據的湖泊和建立機器學習的數據管道。

開始使用Azure磚和Azure數據的工廠

運行一個Azure磚筆記本使用Azure數據工廠,導航到Azure門戶和搜索“數據工廠”,然後單擊“創建”來定義一個新的數據工廠。

接下來,為數據工廠提供一個唯一的名稱,選擇訂閱,然後選擇一個資源組和地區。單擊“創建”。

一旦創建,單擊“資源”按鈕來查看工廠的新數據。

現在打開數據工廠用戶界麵通過點擊“作者&監控”瓷磚。

從Azure數據工廠“讓我們開始”頁麵,點擊左側麵板的“作者”按鈕。

接下來,點擊“連接”在屏幕的底部,然後單擊“新”。

從“新鏈接服務”窗格中,單擊“計算”選項卡,選擇“Azure磚”,然後單擊“繼續”。

Azure磚與服務輸入一個名稱,並選擇一個工作區。

創建一個訪問令牌從Azure磚工作區單擊用戶在屏幕右上角的圖標,然後選擇“用戶設置”。

點擊“生成新的令牌”。

令牌複製並粘貼到鏈接的服務形式,然後選擇一個集群的版本,大小和Python版本。審查所有的設置,然後單擊“創建”。

與相關服務,是時候創建一個管道。從Azure數據工廠的用戶界麵,點擊加號(+)按鈕,並選擇“管道”。

添加一個參數通過單擊“參數”選項卡,然後單擊加號(+)按鈕。

接下來,添加一個磚筆記本管道通過擴大“磚”活動,然後拖拽一個磚筆記本到管道設計畫布。

通過選擇“連接到Azure磚工作區Azure磚"選項卡並選擇上麵創建的鏈接服務。接下來,單擊“設置”選項卡指定筆記本路徑。現在點擊“驗證”按鈕,然後“發布”發布ADF服務。

一旦發表,引發管道運行通過點擊“添加現在觸發|”。

檢查參數,然後單擊“Finish”引發管道運行。

現在切換到“監控”選項卡左邊麵板上看到管道運行的進程。

將Azure磚筆記本集成到Azure數據工廠管道參數化提供了一個靈活的、可伸縮的方法和實施定製ETL代碼。了解更多關於如何Azure磚與Azure數據集成工廠(ADF),看到的這ADF博客和這個ADF教程。想要了解更多關於如何在您的數據探索和查詢數據,看到這個網絡研討會,使用SQL來查詢您的數據與三角洲湖湖。