取消
顯示的結果
而不是尋找
你的意思是:

火花會如何處理1 tb的數據如果集群1 gb內存嗎?

abd
貢獻者

如果我的例如集群1 gb內存和數據是1 tb火花將如何處理?

如果是在內存中計算它如何處理的數據大於內存大小?

1接受解決方案

接受的解決方案

嗨@Abdullah杜蘭尼,

引發工人將泄漏磁盤上的數據,如果數據集大於內存大小。

我建議你遵循最佳實踐的頁麵https://docs.www.eheci.com/clusters/cluster-config-best-practices.html cluster-sizing-consideration……確定集群的大小應該配置為您的用例。

在原帖子查看解決方案

3回複3

abd
貢獻者

@Kaniz Fatma @Cedric法興平

嗨@Abdullah杜蘭尼,

引發工人將泄漏磁盤上的數據,如果數據集大於內存大小。

我建議你遵循最佳實踐的頁麵https://docs.www.eheci.com/clusters/cluster-config-best-practices.html cluster-sizing-consideration……確定集群的大小應該配置為您的用例。

Kaniz
社區經理
社區經理

嗨@Abdullah杜蘭尼,請檢查年代的鏈接

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map