DLT和統一目錄的最佳實踐

[RicksDB]

的最佳實踐是什麼時候用DLT統一目錄意識到工作區,因為它不支持目前嗎?

你需要創建一個複製的每一個表在蜂房裏metastore為了引用它們嗎?還是建議等到支持遷移這些表格嗎?

謝謝!

[Andrij_D]

嗨@E H,最好的方法來管理這個暫時限製DLT邏輯,被認為是“內部”即。,利用默認蜂巢metastore。至少到目前為止,這應該被視為一個瞬態著陸區。從這裏你可以細化,munge和轉換數據同時流,為加州大學加州大學目錄共享。

DLT應該被視為一個過程或任務在一個更大的管道,因為它本質上是夫妻一起物質化確實數據為邏輯段。作為一個過程應該與你大工作流,應該允許異步操作。即使我們加州大學與DLT集成這一原則仍應被考慮。