你能幫助這個錯誤嗎?當使用一個新的高並發性集群問題

[套]

你好,我想使用一個新的高並發性集群MLFlow但我得到以下錯誤。有人有什麼建議嗎?這是工作在一個標準的集群。謝謝。

py4j.security。公共int org.apache.spark.SparkContext.maxNumConcurrentTasks Py4JSecurityException:方法()類類org.apache.spark.SparkContext不是白名單

- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - Py4JError回溯(最近調用最後)<命令- 2769834740329298 >在<模塊> 32 #更大的並行性將導致加速效果,但最佳hyperparameter掃描。33 #並行的一個比較合理的值是max_evals的平方根。推薦- - - - - - > 34 spark_trials = SparkTrials(並行= 10)35 36 /磚/ .python_edge_libs / hyperopt /spark.py__init__(自我、並行性、超時、loss_threshold spark_session) 101) 102 # maxNumConcurrentTasks()是一個包私有API - - > 103 max_num_concurrent_tasks = self._spark_context._jsc.sc () .maxNumConcurrentTasks (104) spark_default_parallelism = self._spark_context.defaultParallelism 105自我。並行性=自我。_decide_parallelism(/磚/火花/ python / lib / py4j-0.10.9-src.zip / py4j / java_gateway。py __call__(自我,* args) 1303回答= self.gateway_client.send_command(命令)1304 return_value = get_return_value(- > 1305回答,自我。gateway_client self.target_id,self.name)1306

[匿名]

你好,@Tom索托!我的名字是派珀,我是主持人磚。很高興認識你,謝謝你的問題!看看你的同行在社區中有一個回答你的問題。否則我們將很快跟進與回複。

[jose_gonzalez]

嗨@Tom索托,

錯誤消息來自你的高並發性集群的安全模型。這是內置的安全模型限製對您的數據的訪問。代碼可能工作標準集群上而不是在高並發集群。

[套]

謝謝你的回應。我很欣賞,但你知道的任何工作使用集群高並發性,因為它是一種特殊的磚函數的問題

[User16753724828 · Accepted solution]

@Tom索托我們有一個解決方案。這個集群火花配置設置將禁用py4jSecurity同時還支持透傳

spark.databricks.pyspark。enablePy4JSecurity假