是什麼建立與三角洲湖流ETL架構模式嗎之前DLT是一個東西嗎?,順便說一句,你會采取什麼方法的上下文中delta-oss今天好嗎?管道定義不會不得不聲明(DLT),隻是一般。
我知道,一個解決方案是如依靠結構化流和觸發器。一旦結合外部協調器來執行在三角洲層之間的處理步驟。但我感興趣的是用例與端到端(銅- >銀- >金管道)不到一分鍾的延遲。這排除了至少一些協調器。
所以總結一下:
/怎麼人們解決這些類型的場景嗎?
@Veli-Jussi Raitila——旅行的時間表DLT之前,請找到下麵的文檔描述了這些場景以及這是如何被解決//www.eheci.com/discover/getting-started-with-delta-lake-tech-talks/beyond-lambda-introdu..。
謝謝你的聯係。這個從丹尼李確實很好。
然而,它遭受同樣的問題很多其他關於這個主題演講。主要它刷在一個實際的實現處理“鏈”青銅,白銀和黃金。
很多的話題都提到實際用例涉及多個處理層/步驟,重複數據刪除、連接和其他中間跳(丹尼也使用術語“物化數據幀”)。但出於某種原因選擇不展示。
這發生在這裏。兩個並發寫(讀)單表所示為展示酸與三角洲擔保。但沒有“三角洲體係結構”的例子與連續流通過青銅,白銀和黃金實際上是。
會話存在,專注於這方麵嗎?
我特別感興趣的操作特征的解決方案,如何在一個連續的“同步”的步驟處理鏈,如果其中的一個——基本上平行流中間工作失敗,如何可視化或檢查依賴關係的工作,等等,尤其是如果它是一個更比1 - 3流的管道需要管理和理解。
編輯:為了更具體,在批處理模式中,例如外部協調器的幫助下,人們可以分解staging-bronze處理管道,bronze-silver,金銀。整個鏈可以可視化在DAG和理解。可以立即看到之間的依賴關係不同的處理步驟,顯示器,和確定問題如果一個失敗,理解它們的上下文執行,等等。
DLT流管道將這些元素:以聲明的方式形成依賴性,甚至可視化為DLT-specific DAG。但是人們如何滿足這些需求?