取消
顯示的結果
而不是尋找
你的意思是:

流策略ETL和前三角洲湖三角洲住表存在

vjraitila
新的貢獻者三世

是什麼建立與三角洲湖流ETL架構模式嗎之前DLT是一個東西嗎?,順便說一句,你會采取什麼方法的上下文中delta-oss今天好嗎?管道定義不會不得不聲明(DLT),隻是一般。

我知道,一個解決方案是如依靠結構化流和觸發器。一旦結合外部協調器來執行在三角洲層之間的處理步驟。但我感興趣的是用例與端到端(銅- >銀- >金管道)不到一分鍾的延遲。這排除了至少一些協調器。

所以總結一下:

  • 流管道用銅、銀和金表
  • 端到端延遲的順序的秒(不是次秒級,但不到一分鍾)。觸發器。一次,批處理外部協調器的幫助下不適用,如果它導致更高的延遲
  • 用例將“操作”即管道必須監控,可恢複可恢複的,如果失敗了,debuggable、測試等,即使這需要數量可觀的發展框架

/怎麼人們解決這些類型的場景嗎?

3回複3

shan_chandra
尊敬的貢獻者二世
尊敬的貢獻者二世

@Veli-Jussi Raitila——旅行的時間表DLT之前,請找到下麵的文檔描述了這些場景以及這是如何被解決//www.eheci.com/discover/getting-started-with-delta-lake-tech-talks/beyond-lambda-introdu..。

vjraitila
新的貢獻者三世

謝謝你的聯係。這個從丹尼李確實很好。

然而,它遭受同樣的問題很多其他關於這個主題演講。主要它刷在一個實際的實現處理“鏈”青銅,白銀和黃金。

很多的話題都提到實際用例涉及多個處理層/步驟,重複數據刪除、連接和其他中間跳(丹尼也使用術語“物化數據幀”)。但出於某種原因選擇不展示。

這發生在這裏。兩個並發寫(讀)表所示為展示酸與三角洲擔保。但沒有“三角洲體係結構”的例子與連續流通過青銅,白銀和黃金實際上是。

會話存在,專注於這方麵嗎?

我特別感興趣的操作特征的解決方案,如何在一個連續的“同步”的步驟處理鏈,如果其中的一個——基本上平行流中間工作失敗,如何可視化或檢查依賴關係的工作,等等,尤其是如果它是一個更比1 - 3流的管道需要管理和理解。

編輯:為了更具體,在批處理模式中,例如外部協調器的幫助下,人們可以分解staging-bronze處理管道,bronze-silver,金銀。整個鏈可以可視化在DAG和理解。可以立即看到之間的依賴關係不同的處理步驟,顯示器,和確定問題如果一個失敗,理解它們的上下文執行,等等。

DLT流管道將這些元素:以聲明的方式形成依賴性,甚至可視化為DLT-specific DAG。但是人們如何滿足這些需求?

Vidula
尊敬的貢獻者

嗨@Veli-Jussi Raitila

做@Shanmugavel Chandrakasu反應回答你的問題?如果是的,你會很高興它標記為最好,其他成員可以找到解決方案更快嗎?

我們很想聽到你的聲音。

謝謝!

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map