印度生物技術部工作流程工作的局限性——命名目標?醫生去哪裏?

[jakubk]

我在統一目錄

我想做一個印度生物技術部在本地運行的項目工程

但是磚印度生物技術部的工作流任務似乎忽略了項目。yml設置模式和目錄,以及定義在單個模型的配置塊

這是因為這奇怪的默認印度生物技術部行為默認前綴模式與目標模式?

*我怎麼“名稱”目標/檔案工作產生的“刺激”或“uat”而不是“databricks_cluster”?我現在可以閑逛了覆蓋generate_schema宏,但我確實喜歡使用不同的目標來改變行為esp在外部位置不同的環境(開發/測試/刺激)

* env增值?

*所有印度生物技術部生成資產在哪裏?他們可以嗎?

印度生物技術部文檔——在哪裏?或者我需要做手工(請沒有)

*通用測試?

[匿名]

@Jakub凱西:印度生物技術部的默認行為是有可能導致你經曆的問題。默認情況下,印度生物技術部前綴與目標模式名默認模式,這可能會導致混亂當定義模式和項目的目錄。yml文件或單個模型的配置塊。

選項1:

為了避免這種行為,您可以設置模式參數在您的配置文件。yml文件為空字符串,如下:

my_profile:目標:開發模式:“”

選項2:

你也可以嚐試在您的項目中顯式地設置和數據庫的模式參數。yml文件和個人的配置塊模型來確保它們被正確地應用。例如:

#項目。yml名稱:my_project版本1.0.0 config-version: 2 var:數據庫:my_database模式:my_schema # model_name。sql{{配置(數據庫= var(“數據庫”),模式= var(模式))}}從my_table SELECT *;

如果這些選項不工作,請審查印度生物技術部日誌是否有任何錯誤消息或警告,可以提供更多的信息

[jakubk]

嗨@Suteja卡努裏人

我很好與配置概要文件當我有完全控製vm執行它

我的問題與使用磚——印度生物技術部工作https://docs.www.eheci.com/workflows/jobs/how-to-use-dbt-in-workflows.html

我想我找到了我的第一問題,我不能改變databricks_cluster概要文件的名稱,我需要硬編碼和希望磚不改變它

env var -我仍然不確定從哪裏或如何設置與工作流的dbt_CLI集群自動創建工作

獲取資產——工作流作業的輸出顯示了它被創建在一個隨機的位置

15:15:24並發:8線程(目標= databricks_cluster) 15:15:24 15:15:24。15:15:24構建目錄15:15:29目錄寫入/ tmp / tmp -印度生物技術部-運行- 45551 /目標/ catalog.json

[匿名]

@Jakub凱西:

設置環境變量對磚dbt_CLI集群,可以遵循以下步驟:

1. 導航到磚工作區並單擊“集群”選項卡。
2. 點擊dbt_CLI集群的名稱,你想要設置環境變量。
3. 單擊“編輯”按鈕打開集群配置頁麵。
4. 向下滾動到“高級選項”部分,點擊“火花”擴大的設置。
5. 在“環境變量”部分,單擊“添加”,添加一個新的環境變量。
6. 輸入名稱和值對於你想要設置的環境變量,並單擊“OK”保存更改。
7. 重複步驟5和6添加額外的環境變量,如果必要的。
8. 點擊“保存”保存更改到集群配置

一旦你為dbt_CLI集群設置環境變量,您可以訪問它們在你印度生物技術部項目使用的操作係統。環境Python模塊。

希望這個有幫助。請讓我們知道。

[匿名]

@Jakub凱西:

的錯誤:工作流作業的輸出顯示,印度生物技術部項目的目錄寫入到一個臨時位置(/ tmp / tmp-dbt-run 45551 /目標/ catalog.json)的運行期間的工作。這個位置通常是一個臨時目錄中創建的操作係統或應用程序並不能保證持續的或可預測的。

建議寫工作持續的輸出位置等雲存儲服務如Azure Blob存儲或AWS S3,而不是依靠臨時位置。這將確保輸出是可訪問的和可靠的即使在工作已經完成。