取消
顯示的結果
而不是尋找
你的意思是:

未能完成分區數據集優化命令

格言
新的因素

試圖優化增量表統計:

  • 大小:212848團、31162417246985字節
  • 命令:優化<表> ZORDER (X, Y, Z)

火花UI中我可以看到所有的工作劃分批次,和每一批從400年開始任務來收集數據。但每個批處理階段失敗後收集數據。錯誤的例子:

  • 描述:(批11(處理文件((35651 - 39203)/ 213211)])優化3553年abfss文件:/ / <表>
  • 任務:1510/3200
  • 失敗原因:工作階段失敗而終止:序列化結果的總規模1511(4.0直布羅陀海峽)大於spark.driver任務。maxResultSize 4.0直布羅陀海峽。

與默認的配置命令運行。

問題是為什麼優化過程選擇批次不匹配spark.driver.maxResultSize限製嗎?我們如何配置分裂創造小批量?

1回複1

Aviral-Bhardwaj
尊敬的貢獻者三世

你能分享一些示例數據集通過我們可以調試和相應的幫助你

謝謝

Aviral

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map