謝謝你的聯係。這個從丹尼李確實很好。
然而,它遭受同樣的問題很多其他關於這個主題演講。主要它刷在一個實際的實現處理“鏈”青銅,白銀和黃金。
很多的話題都提到實際用例涉及多個處理層/步驟,重複數據刪除、連接和其他中間跳(丹尼也使用術語“物化數據幀”)。但出於某種原因選擇不展示。
這發生在這裏。兩個並發寫(讀)單表所示為展示酸與三角洲擔保。但沒有“三角洲體係結構”的例子與連續流通過青銅,白銀和黃金實際上是。
會話存在,專注於這方麵嗎?
我特別感興趣的操作特征的解決方案,如何在一個連續的“同步”的步驟處理鏈,如果其中的一個——基本上平行流中間工作失敗,如何可視化或檢查依賴關係的工作,等等,尤其是如果它是一個更比1 - 3流的管道需要管理和理解。
編輯:為了更具體,在批處理模式中,例如外部協調器的幫助下,人們可以分解staging-bronze處理管道,bronze-silver,金銀。整個鏈可以可視化在DAG和理解。可以立即看到之間的依賴關係不同的處理步驟,顯示器,和確定問題如果一個失敗,理解它們的上下文執行,等等。
DLT流管道將這些元素:以聲明的方式形成依賴性,甚至可視化為DLT-specific DAG。但是人們如何滿足這些需求?
