我試圖讀取16 mb的excel文件,我得到一個gc開銷限製超過錯誤來解決,我想提高我的遺囑執行人內存,
火花。相依這裏(“spark.executor。記憶”、“8 g”)
但我有以下堆棧:
使用火花的默認log4j配置文件:org/apache/spark/log4j-defaults.properties
異常的線程org.apache.spark.sql“主要”。AnalysisException:不能修改引發的價值配置:spark.executor.memory;
org.apache.spark.sql.RuntimeConfig.requireNonStaticConf (RuntimeConfig.scala: 158)
在org.apache.spark.sql.RuntimeConfig.set (RuntimeConfig.scala: 42)
在com.sundogsoftware.spark.spaceTrim.trimmer .delayedEndpoint com sundogsoftware引發美元美元spaceTrim微調$ 1美元(trimmer.scala: 29)
在com.sundogsoftware.spark.spaceTrim.trimmer delayedInit body.apply美元(trimmer.scala: 9)
在scala.Function0.apply專門sp (Function0.scala: 39)美元
在scala.Function0.apply mcV sp (Function0.scala: 39)美元美元
在scala.runtime.AbstractFunction0.apply專門sp美元(AbstractFunction0.scala: 17)
scala.App。anonfun主要美元$ 1 $改編(App.scala: 80)
scala.collection.immutable.List.foreach (List.scala: 431)
scala.App.main (App.scala: 80)
在scala.App.main (App.scala: 78美元)
com.sundogsoftware.spark.spaceTrim.trimmer .main美元(trimmer.scala: 9)
com.sundogsoftware.spark.spaceTrim.trimmer.main (trimmer.scala)
我的代碼:
瓦爾火花= SparkSession
。構建器
.appName (“schemaTest”)
部分(“地方[*]”)
.getOrCreate ()
火花。相依這裏(“spark.executor。記憶”、“8 g”)
瓦爾df=火花.read
.format (“com.crealytics.spark.excel”)。
選項(“頭”,“真正的”)。
選項(“inferSchema”,“假”)。
選項(“treatEmptyValuesAsNulls”,“假”)。
選項(“addColorColumns”,“假”)。
加載(“數據/ 12 file.xlsx”)
