從自定義容器訪問環境變量基地集群

[lukaszl]

嗨磚社區,

我想為我的工作區中所有集群設置環境變量。目標是環境變量,可用在所有筆記本在集群上執行。

在全球init腳本並生成環境變量存儲在/ etc /環境'喜歡記錄:https://community.www.eheci.com/s/question/0D58Y000096UKm5SAG/set-environment-variables-in-global-i..。

經過我的init腳本執行的/ etc /環境的內容看起來像:

CLUSTER_DB_HOME = /磚DATABRICKS_RUNTIME_VERSION = 10.4 DB_HOME = /磚DEFAULT_DATABRICKS_ROOT_VIRTUALENV_ENV = /磚/ python3 MLFLOW_CONDA_HOME = /磚/ conda MLFLOW_PYTHON_EXECUTABLE = /磚/ python / bin / python MLFLOW_TRACKING_URI =磚出口MY_TEST_VAR PYARROW_IGNORE_TIMEZONE = 1 =測試

標準的集成工作集群和筆記本我可以使用變量。

但對於集群定義定製的碼頭工人容器,環境變量是無形的。

與定製的碼頭工人容器集群,我指的是集群選擇“使用自己的碼頭工人容器”。這種類型的集群的我不能訪問環境變量。E。g代碼的結果

導入操作係統打印(os.getenv (MY_TEST_VAR))

是空的(沒有)。

任何想法在哪裏我需要存儲環境變量可用在所有集群類型?

謝謝你！

[lukaszl]

謝謝@Werner Stinckens !

根據你的建議我發現磚的內部文件

/磚/ / conf / spark-env.sh火花

這是包含環境變量在筆記本上可見。添加新變量在這個文件可以解決我的問題。

[謝謝]

謝謝陸@Lukasz——為我工作。當我用下麵的腳本:

# !/bin/bash回聲MY_TEST_VAR = value1 |三通——/etc/environment > > /磚/ / conf / spark-env.sh火花

• non-docker集群,MY_TEST_VAR出現兩次“/磚/ / conf / spark-env.sh火花”
• 碼頭工人集群MY_TEST_VAR出現一次
• 在這兩種情況下的os.getenv (“MY_TEST_VAR”)“value1如預期