問題

您正在嚐試在高並發集群上運行Python命令。

所有Python命令都失敗警告錯誤消息。

warning PythonDriverWrapper: Failed to start repl ReplId-61bef-9fc33-1f8f6-2 ExitCodeException exitCode=1: chown: invalid user: ' spark-9fcdf4d2-045d- 4fb3 - 92993 -0f '

導致

這兩個spark.databricks.pyspark.enableProcessIsolation真實而且spark.databricks.session.share真實在集群的Apache Spark配置中設置。

這兩個Spark屬性相互衝突，會阻止集群運行Python命令。

解決方案

一次隻能在集群上啟用這兩個Spark屬性中的一個。

請根據需要選擇進程隔離或Spark共享會話。禁用其他選項。