Python命令在機器學習集群上失敗

用於機器學習集群的Databricks運行時上的Python命令失敗。Conda。

寫的arjun.kaimaparambilrajan

最後發布時間:2022年5月16日

問題

您正在使用用於機器學習的Databricks運行時集群，Python筆記本正在失敗。

你找到一個無效的語法錯誤日誌中。

文件"/local_disk0/tmp/1593092990800-0/PythonShell.py"，第363行def __init__(self， *args, condaMagicHandler=None， **kwargs):

導致

中的鍵值/etc/environment /文件正在被用戶環境變量覆蓋。

有幾個默認的環境變量不應該被覆蓋。

例如,MLFLOW_CONDA_HOME = /磚/ conda默認設置。如果覆蓋此值，則可能導致無效的語法錯誤。

這個示例初始化腳本可能會導致這個問題，因為它正在替換而不是追加一個值。

% python dbutils.fs.put(“/磚/ init腳本/ set-env.sh”,“”“# !/bin/bash sudo echo VAR1="VAL1" > /etc/environment sudo echo VAR2="VAL2" > /etc/environment sudo echo VAR3="VAL3" > /etc/environment """， true)

解決方案

控件中的任何值都不應被覆蓋/etc/environment /文件。

方法中添加變量/etc/environment /文件。

這個示例初始化腳本通過將every to值附加到/etc/environment /文件。

% python dbutils.fs.put(“/磚/ init腳本/ set-env.sh”,“”“# !/bin/bash sudo echo VAR1="VAL1" >> /etc/environment sudo echo VAR2="VAL2" >> /etc/environment sudo echo VAR3="VAL3" >> /etc/environment """ "， true)