數據工程與數據助理

描述

來自各行各業的數據專業人士將受益於Databricks Lakehouse平台的組件的全麵介紹，該介紹直接支持將ETL管道投入生產。Beplay体育安卓版本您將利用SQL和Python定義和安排管道，這些管道從各種數據源到湖泊中的電源分析應用程序和儀表板進行逐步處理新數據。本課程在Databricks數據科學與工程工作區，Databricks SQL，Delta Live Tables，Databricks Repos，Databricks Tasksestration和Unity目錄中提供動手指導。

本課程將為您準備Databricks認證數據工程師助理考試。

期間

2整天或4個半天

目標

• 利用Databricks Lakehouse平台來履行數據管道開發的Beplay体育安卓版本核心職責
• 使用SQL和Python編寫生產數據管道，以將數據提取，轉換和加載到Lakehouse的表格和視圖中
• 使用Databricks-Native特征和語法簡化數據攝入和增量變化傳播，包括Delta Live Tables
• 編排生產管道，為臨時分析和儀表板提供新的結果

先決條件

• SQL查詢語法的基本知識，包括使用SELECT，were，compebse，dord，limit和加入的select編寫查詢
• SQL DDL語句的基本知識以創建，更改和刪除數據庫和表格
• SQL DML語句的基本知識，包括刪除，插入，更新和合並
• 在雲平台上具有或了解數據工程實踐的經驗，包括虛擬機，對象存儲，身份管理和Metastores等雲功能Beplay体育安卓版本
• 對Python變量，功能和控製流的基本熟悉（首選）

大綱

第一天

• 三角洲湖
• Databricks上的關係實體
• ETL與Spark SQL
• 足夠的python fus spark sql
• 使用結構化流和自動加載器的增量數據處理

第2天

• Data Lakehouse中的獎章建築
• 三角洲現場桌
• 任務編排帶有數據助理作業
• Databricks SQL
• 管理湖泊的權限
• 在Databricks SQL上生產儀表板和查詢

如果您有任何疑問，請參考我們經常問的問題頁。