SparkR會話初始化失敗

[User16752239289]

當運行sparkR.session ()

我麵臨以下錯誤:

火花包中發現SPARK_HOME: /磚/火花發射用spark-submit命令java /磚/火花/ bin / spark-submit sparkr-shell / tmp / Rtmp5hnW8G backend_porte9141208532d錯誤:無法找到或加載主類org.apache.spark.launcher。主要/磚/ / bin / spark-class火花:101行:CMD:糟糕的數組下標sparkR誤差。sparkContext(主瀏覽器名稱,sparkHome、sparkConfigMap: JVM沒有準備好後10秒

當我檢查集群log4j,我發現我打Rbackend限製:

21/06/29 18:26:17信息RDriverLocal: 394。RDriverLocal。e9dee079 - 46 - f8 - 4108 - b1 - 25 - fa02742efb:超過最大RBackends數量限製:200

[User16752239289 · Accepted solution]

這是由於當用戶運行R腳本Rstudio, R會話不優雅地關閉。

磚正在處理R會話更好和移除的極限。

作為一個解決方案,您可以創建和運行init腳本增加以下限製:

% scala val initScriptContent = s”“| # !/bin/bash |貓> /磚/共同/ conf / rbackend_limit。參看< < EOL | {| databricks.daemon.driver。maxNumRBackendsPerDriver = <價值> |}|停產”“狀態”。stripMargin dbutils.fs.put (“dbfs: / <路徑> / set_rbackend。sh”initScriptContent,真的)