DLT管道的最佳實踐

[EDDatabricks]

我們有4個算法(每小時執行),對於每一個人,我們有一個相應的DLT管道創建/附加一個δ住表(每小時)使用表示算法。在我們的例子中,四分之三的管道是相同的功能,並有輕微的差異四個管道。

會是一個最佳實踐結合這些管道一個嗎?

我們主要關注的領域是:

• 目前任何性能瓶頸,這些管道將同時同時創建所有DLT表
• 如何更有效的是結合這些管道嗎
• 保持管道分裂模式或反模式

謝謝

[匿名]

@EDDatabricks EDDatabricks:保持管道分裂可能是一個有效的模式如果有意義的隻是改變配置參數。然而,如果有明顯的相似之處管道、整合可能是一個好方法來簡化維護和提高性能。我建議你嚐試和做一個AB測試檢查的變化。

鞏固3管道的優點:

• 用一個管道,你隻需要維護和更新的代碼和配置文件,而不是多個管道。
• 通過合並管道,可以減少所需處理的數據量和寫作,這可能導致更快的管道執行時間和降低性能瓶頸。
• 一個管道將有助於確保數據輸出所有算法是一致的,沒有錯誤

考慮之前鞏固3管道:

• 考慮是否增加的複雜性將超過合並的好處。
• 結合管道可能導致增加了數據處理和寫作要求,這可能會對性能造成負麵影響。你需要實驗規則

希望這個有幫助。

[Vidula_Khanna]

嗨@EDDatabricks EDDatabricks

希望一切進行得很順利。

隻是想檢查如果你能解決你的問題。如果是的,你會很高興的答案標記為最好,其他成員可以找到解決方案更快嗎?如果不是,請告訴我們,我們可以幫助你。

幹杯!