取消
顯示的結果
而不是尋找
你的意思是:

矢量化的讀者不能儲備更多連續的字節(要求xxxxxxxxx字節)。

shan_chandra
尊敬的貢獻者二世
尊敬的貢獻者二世

我得到以下錯誤當工作負載運行流從源三角洲表

引起的:. lang。RuntimeException:不能儲備更多連續的字節在矢量化讀者(要求xxxxxxxxx字節)。作為一個解決方案,你可以減少矢量化讀者批量大小,或禁用矢量化的讀者,或禁用spark.sql.sources.bucketing。如果你閱讀從桶表啟用。spark.sql.parquet鑲花的文件格式,請參考。4096年columnarReaderBatchSize(默認)和spark.sql.parquet.enableVectorizedReader;獸人的文件格式,請參考spark.sql.orc。4096年columnarReaderBatchSize(默認)和spark.sql.orc.enableVectorizedReader

你能請讓我們知道如何緩解這個問題呢?

1接受解決方案

接受的解決方案

shan_chandra
尊敬的貢獻者二世
尊敬的貢獻者二世

這正在發生,因為δ/拚花源有一個或多個下列:

  1. 一個巨大的列數
  2. 在一個或多個列巨大的字符串
  3. 巨大的數組/地圖,可能在相互嵌套

為了緩解這個問題,你能減少spark.sql.parquet.columnarReaderBatchSize從默認值- 4096嗎?

在原帖子查看解決方案

1回複1

shan_chandra
尊敬的貢獻者二世
尊敬的貢獻者二世

這正在發生,因為δ/拚花源有一個或多個下列:

  1. 一個巨大的列數
  2. 在一個或多個列巨大的字符串
  3. 巨大的數組/地圖,可能在相互嵌套

為了緩解這個問題,你能減少spark.sql.parquet.columnarReaderBatchSize從默認值- 4096嗎?

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map