取消
顯示的結果
而不是尋找
你的意思是:

你能幫助這個錯誤嗎?當使用一個新的高並發性集群問題

套
新的貢獻者二世

你好,我想使用一個新的高並發性集群MLFlow但我得到以下錯誤。有人有什麼建議嗎?這是工作在一個標準的集群。謝謝。

py4j.security。公共int org.apache.spark.SparkContext.maxNumConcurrentTasks Py4JSecurityException:方法()類類org.apache.spark.SparkContext不是白名單

- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - Py4JError回溯(最近調用最後)<命令- 2769834740329298 >在<模塊> 32 #更大的並行性將導致加速效果,但最佳hyperparameter掃描。33 #並行的一個比較合理的值是max_evals的平方根。推薦- - - - - - > 34 spark_trials = SparkTrials(並行= 10)35 36 /磚/ .python_edge_libs / hyperopt /spark.py__init__(自我、並行性、超時、loss_threshold spark_session) 101) 102 # maxNumConcurrentTasks()是一個包私有API - - > 103 max_num_concurrent_tasks = self._spark_context._jsc.sc () .maxNumConcurrentTasks (104) spark_default_parallelism = self._spark_context.defaultParallelism 105自我。並行性=自我。_decide_parallelism(/磚/火花/ python / lib / py4j-0.10.9-src.zip / py4j / java_gateway。py __call__(自我,* args) 1303回答= self.gateway_client.send_command(命令)1304 return_value = get_return_value(- > 1305回答,自我。gateway_client self.target_id,self.name)1306

6個回答6

套
新的貢獻者二世

非常感謝。這個解決方案為我工作。

Piper_Wilson
新的貢獻者三世

@Tom索托-如果Pradpalnis完全回答了你的問題,你會很高興他們的答案標記為最好,這樣其他人可以迅速找到解決方案了嗎?

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map