連接dbt Cloud
DBT(數據構建工具)是一種開發環境,允許數據分析師和數據工程師通過簡單地編寫選擇語句來轉換數據。DBT處理將這些選擇語句轉換為表和視圖。dbt將代碼編譯為原始SQL,然後在Databricks中的指定數據庫上運行該代碼。DBT支持協作編碼模式和最beplay娱乐ios佳實踐,如版本控製、文檔和模塊化。
DBT不提取或加載數據。DBT隻關注轉換步驟,使用“加載後轉換”體係結構。DBT假設您的數據庫中已經有了數據的副本。
本文主要介紹dbt Cloud。dbt Cloud配備了調度作業、CI/CD、服務文檔、監控和警報以及集成開發環境(IDE)的交鑰匙支持。
還可以使用dbt的本地版本dbt Core。dbt Core使您能夠在本地開發機器上的文本編輯器或IDE中編寫dbt代碼,然後從命令行運行dbt。dbt Core包括dbt CLI (Command Line Interface)。dbt CLI是免費使用的開源工具。有關更多信息,請參見連接到dbt核心.
因為dbt Cloud和dbt Core可以使用托管的git存儲庫(例如,在GitHub, GitLab或BitBucket上),你可以使用dbt Cloud創建一個dbt項目,然後讓它對你的dbt Cloud和dbt Core用戶可用。有關更多信息,請參見創建dbt項目而且使用現有項目在DBT網站上。
要了解dbt的一般概況,請觀看以下YouTube視頻(26分鍾)。