火花司機內存不足的問題

[chandan_a_v]

你好,

在磚我執行一個簡單的工作,我得到以下錯誤。我增加了司機的大小仍然麵臨著同樣的問題。

火花配置:

從pyspark。sql進口SparkSession

spark_session = SparkSession.builder。瀏覽器名稱(“需求預測”). config (“spark.yarn.executor。memoryOverhead ", 2048) .getOrCreate ()

司機和工人-r5.2xlarge節點類型

10個工作節點。

錯誤日誌:

引起的:org.apache.spark.sql.execution。OutOfMemorySparkException:播放表的大小遠遠超過預期,超過極限spark.driver.maxResultSize = 4294967296。

[werners1]

查看錯誤消息你要廣播一個大桌子。刪除廣播聲明大桌子,你會沒事的。

[chandan_a_v]

嗨@Werner Stinckens,

我上麵的問題而編寫一個火花DF AWS S3的鑲花的文件。實際上不做任何廣播加入。

謝謝,

的孩子叫

[Hubert_Dudek1]

在我看來在磚上,您不需要指定(spark_session = SparkSession.builder。瀏覽器名稱(“需求預測”). config (“spark.yarn.executor。memoryOverhead ", 2048) .getOrCreate ()) and rest is as @Werner Stinckens said

[chandan_a_v]

我上麵的問題而編寫一個火花DF AWS S3的鑲花的文件。實際上不做任何廣播加入。