取消
顯示的結果
而不是尋找
你的意思是:

什麼是最好的建築結構的流,為什麼?

康斯坦丁
貢獻者三世

我建立一個ETL管道讀取數據從卡夫卡的話題(數據序列化在節儉格式),並將它寫到δ表數據磚。我想有兩層

銅層- >原始卡夫卡數據

銀層- >反序列化數據

我能想到的兩種方法可以做到這一點

第一個方法是讀卡夫卡的數據,寫原始數據從青銅青銅然後讀取數據和解碼它和寫銀

第二種方式從卡夫卡讀取數據,寫入數據同時青銅和解碼數據和寫銀。

我試圖理解每種解決方案的優點和缺點。解決方案兩個更容易實現,但感覺解決方案一個是更強大的容錯

1接受解決方案

接受的解決方案

Hubert_Dudek1
尊敬的貢獻者三世

@John君士坦丁“青銅層- >原始卡夫卡數據”

如果你使用confluent.io,您還可以利用直接沉到DataLake存儲——銅層。

“銀層- >反序列化數據”

然後使用生活表處理δ銀。(文件通知模式推薦)

在原帖子查看解決方案

2回答2

Hubert_Dudek1
尊敬的貢獻者三世

@John君士坦丁“青銅層- >原始卡夫卡數據”

如果你使用confluent.io,您還可以利用直接沉到DataLake存儲——銅層。

“銀層- >反序列化數據”

然後使用生活表處理δ銀。(文件通知模式推薦)

Kaniz
社區經理
社區經理

嗨@John康斯坦丁,這隻是密切隨訪。做@Hubert杜德克的回複解決查詢?

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map