磚注冊數據工程師的專業
使用磚執行先進的數據工程任務
磚注冊數據工程師的專業
磚認證數據工程師專業認證考試評估一個人的能力使用磚執行先進的數據工程任務。這包括了解磚平台和開發工具像Apache火花,三角洲湖,MLflow,磚CLI和REST API。Beplay体育安卓版本它還評估的能力構建優化和ETL清洗管道。此外,數據建模到Lakehouse使用通用數據建模概念的知識也將被評估。最後,確保數據管道是安全的,可靠的,在部署前測試和監控,也將包括在這次考試中。個人通過這個認證考試可以將完整的先進的數據使用磚及其相關工具的工程任務。
登記
為了實現這個認證,收入必須通過認證考試。為了實現這個認證,請登錄或創建一個帳戶在我們的認證平台Beplay体育安卓版本。
學習途徑
這個認證數據工程師學習途徑的一部分。
考試的細節
認證考試的關鍵細節,提供如下。
最低限度合格的候選人
最低限度合格的候選人應該能夠:
了解如何使用和使用磚平台的好處和它的工具,包括:Beplay体育安卓版本
Beplay体育安卓版本平台(筆記本、集群、就業、磚SQL關係實體,回購)
Apache火花(PySpark DataFrame API,基本架構)
三角洲湖(基於sql的三角洲api,基本架構,核心功能)
磚CLI(部署notebook-based工作流)
磚REST API(配置和觸發生產管道)
建立數據處理管道使用火花和三角洲湖api,包括:
建築batch-processed ETL管道
建築逐步ETL處理管道
優化工作負載
刪除數據
使用變化數據捕獲(CDC)傳播的變化
模型數據管理解決方案,包括:
Lakehouse(青銅/銀/金架構、數據庫表、視圖和物理布局)
通用數據建模概念(鑰匙、約束、查找表,緩慢變化維度)
使用最佳實踐構建生產管道安全性和治理,包括:
筆記本和管理工作與acl權限
創建行,用於控製用戶/組訪問的動態視圖
安全地存儲個人身份信息(PII)
安全地刪除數據根據GDPR & CCPA要求
配置報警和存儲日誌監控和生產工作,包括:
設置通知
配置SparkListener
錄音記錄指標
UI導航和解釋的火花
調試錯誤
遵循最佳實踐管理、測試和部署代碼,包括:
依賴關係管理
創建單元測試
創建集成測試
調度工作
版本控製代碼/筆記本電腦
編製工作
持續時間
測試人員將有120分鍾完成認證考試。
問題
有60道多項選擇題的認證考試。的問題將由高級分布式主題以下列方式:
磚工具- 20% (12/60)
數據處理- 30% (18/60)
數據建模- 20% (12/60)
安全性和治理- 10% (6/60)
監控和日誌- 10% (6/60)
測試和部署- 10% (6/60)
成本
認證考試的每一個嚐試將測試人員成本200美元。測試人員可能會受到納稅取決於他們的位置。測試人員能夠奪回考試很多次他們想,但是他們需要為每個嚐試支付200美元。
測試艾滋病
沒有測試艾滋病在這次考試期間可用。
編程語言
這個認證考試的代碼示例將主要是在Python中。然而,任何和所有引用三角洲湖功能將SQL。
過期
因為速度數據的責任工程師和磚Lakehouse平台的功能變化,這個認證是有效日期後2年,每個測試人員通過認證考試。Beplay体育安卓版本
準備
為了學習內容評估認證考試,考生應該采取下麵的磚學院的課程之一:
先進的數據工程與磚
認證課程概述磚認證數據工程師專業考試
磚認證數據工程師專業考試(用於200美元)
注意:教師指導先進數據工程與磚課程將在2023年上市
常見問題
為了查看常見問題(faq)的答案,請參閱磚學院FAQ文檔。