我試圖運行一個集群級通過Pulumi init腳本。我提到這個文檔
https://learn.microsoft.com/en-us/azure/databricks/clusters/configure spark-configuration
然而,看起來像文檔不是很清楚。
我有一個名為init腳本set-private-pip-repositories-relay-feed-init-script.sh下麵的內容。
# !/bin/bash如果(- n DEVOPS_GIT_PAT美元);然後使用美元DEVOPS_GIT_PAT別的回聲”帕特無法獲取令牌”fi printf(全球)\ n > /etc/pip.conf printf“extra-index-url = " > > /etc/pip.參看printf“https:// DEVOPS_GIT_PAT@artificat_url美元/ pypi /簡單/ \ n”> > /etc/pip.參看回聲“腳本執行”
我試圖添加集群配置的init腳本Pulumi如下
init_scripts = [db。ClusterInitScriptArgs(文件= db。ClusterInitScriptFileArgs(目的地= " /文件/ set-private-pip-repositories-relay-feed-init-script。sh”)),
我應該保持磚秘密的範圍在哪裏?在spark_env_vars = {“DEVOPS_GIT_PAT”:“”{{秘密/ azureScope / devopsGitPat}}} ?
隻有幾個點是在這個問題上所提到的,所以期待得到別人的建議
嗨@Sulfikkar Basheer Shylaja,你為什麼不存儲初始化腳本DBFS和通過DBFS: Pulumi / init腳本的路徑嗎?你可以一個筆記本上運行這段代碼
% python dbutils.fs.put(" /磚/ init腳本/ set-private-pip-repositories-relay-feed-init-script。sh”、“”“# !/bin/bash如果(- n DEVOPS_GIT_PAT美元);然後使用美元DEVOPS_GIT_PAT別的回聲”帕特無法獲取令牌”fi printf(全球)\ n > /etc/pip.conf printf“extra-index-url = " > > /etc/pip.參看printf“https:// DEVOPS_GIT_PAT@artificat_url美元/ pypi /簡單/ \ n”> > /etc/pip.參看回聲“腳本執行“”“”,真的)
這是使用dbutils命令上傳的腳本DBFS位置dbfs: /磚/ init腳本/ set-private-pip-repositories-relay-feed-init-script.sh
使用磚秘密的範圍,你是正確的。分配的秘密火花在init腳本環境變量和引用它。請跟這兩個文檔
https://www.pulumi.com/registry/packages/databricks/api-docs/cluster/ state_spark_env_vars_python
讓我知道這個信息可以幫助你。
我試著用ClusterInitScriptFileArgs如下,
init_scripts = [db。ClusterInitScriptArgs(文件= db。ClusterInitScriptFileArgs(目的地= " /文件/ set-private-pip-repositories-relay-feed-init-script。sh”)),
但是它的失敗與錯誤如下
磚:指數:集群(user-databricks-cluster):
錯誤:1發生錯誤:
*更新urn: pulumi:平台開發:::Beplay体育安卓版本磚:指數/集群:集群:user-databricks-cluster: 1發生錯誤:
*不能更新集群:init腳本文件(指定一個文件:/前綴)隻能為集群定義指定碼頭工人的容器中。
你能建議嗎?