取消
顯示的結果
而不是尋找
你的意思是:

問題提交如何優化工作,以避免支付額外成本擴大磁盤嗎?這是由於洗牌或數據傾斜?有辦法和更大的磁盤配置工人嗎?如果沒有擴大磁盤,它將失敗,因為磁盤上沒有剩餘空間。

韋恩
新的貢獻者二世
2回答2

匿名
不適用

你的工人磁盤大小應該幾乎從來沒有問題。你應該使用S3等雲存儲/ ADL2 / gc。你運行什麼操作錯誤消息你什麼?

韋恩
新的貢獻者二世

沒有錯誤,隻是看到了擴大磁盤集群事件日誌。這隻是一個常規的火花的應用程序。我不確定如果雲存儲問題——火花應用程序使用它作為輸入和輸出。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map