取消
顯示的結果
而不是尋找
你的意思是:

從多個磚集群的並發寫同樣的δ在S3支持表嗎?

ptambe
新的貢獻者三世

磚有支持寫相同的三角洲表同時從多個集群。我特別想知道如果有任何解決方案https://github.com/delta-io/delta/issues/41實現數據磚或如果你有任何建議實現並發寫入相同的三角洲表S3。

1接受解決方案

接受的解決方案

User16830374456
貢獻者

請注意,上麵所提到的問題(存儲係統)支持AWS S3(多個集群/司機/ jvm)三角洲湖OSS。指出在這個問題發行324在撰寫本文時,S3缺乏putIfAbsent事務的一致性。對於三角洲湖OSS,社區工作339年公關解決這一問題。

說這個問題,你的問題是特定於磚的δ,允許多個集群實現並發寫入相同的三角洲表使用S3提交服務。相關的報價是:

磚提交服務運行坐標寫入Amazon S3從多個集群。這個服務在磚運行控製飛機

有關更多信息,請參閱配置磚S3提交服務相關的設置

在原帖子查看解決方案

6個回答6

Kaniz
社區經理
社區經理

你好@ptambe!我的名字叫Kaniz,我這裏的技術主持人。很高興認識你,謝謝你的問題!看看你的同行在社區中有一個回答你的問題。否則我將盡快給你回電。謝謝。

Hubert_Dudek1
尊敬的貢獻者三世

通常是的。這取決於分區。如果你有2執行人(作家),其中每一個持有一些分區,必須附加到三角洲,同時編寫過程將每個分區。你也可以分析你的用例工作(和其他標簽)在引發UI。

ptambe
新的貢獻者三世

是的,相同的集群和多個執行器工作原理和我們使用replaceWhere覆蓋單獨分區。將相同的工作如果集群分區被寫入不同的工作。我上麵提到的問題,表明它不支持三角洲。

User16830374456
貢獻者

請注意,上麵所提到的問題(存儲係統)支持AWS S3(多個集群/司機/ jvm)三角洲湖OSS。指出在這個問題發行324在撰寫本文時,S3缺乏putIfAbsent事務的一致性。對於三角洲湖OSS,社區工作339年公關解決這一問題。

說這個問題,你的問題是特定於磚的δ,允許多個集群實現並發寫入相同的三角洲表使用S3提交服務。相關的報價是:

磚提交服務運行坐標寫入Amazon S3從多個集群。這個服務在磚運行控製飛機

有關更多信息,請參閱配置磚S3提交服務相關的設置

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map