集群範圍通過pulumi init腳本

[Sulfikkar]

我試圖運行一個集群級通過Pulumi init腳本。我提到這個文檔

https://learn.microsoft.com/en-us/azure/databricks/clusters/configure spark-configuration

然而,看起來像文檔不是很清楚。

我有一個名為init腳本set-private-pip-repositories-relay-feed-init-script.sh下麵的內容。

# !/bin/bash如果(- n DEVOPS_GIT_PAT美元);然後使用美元DEVOPS_GIT_PAT別的回聲”帕特無法獲取令牌”fi printf(全球)\ n > /etc/pip.conf printf“extra-index-url = " > > /etc/pip.參看printf“https:// DEVOPS_GIT_PAT@artificat_url美元/ pypi /簡單/ \ n”> > /etc/pip.參看回聲“腳本執行”

我試圖添加集群配置的init腳本Pulumi如下

init_scripts = [db。ClusterInitScriptArgs(文件= db。ClusterInitScriptFileArgs(目的地= " /文件/ set-private-pip-repositories-relay-feed-init-script。sh”)),

我應該保持磚秘密的範圍在哪裏?在spark_env_vars = {“DEVOPS_GIT_PAT”:“”{{秘密/ azureScope / devopsGitPat}}} ?

隻有幾個點是在這個問題上所提到的,所以期待得到別人的建議

[Vivian_Wilfred]

嗨@Sulfikkar Basheer Shylaja,你為什麼不存儲初始化腳本DBFS和通過DBFS: Pulumi / init腳本的路徑嗎?你可以一個筆記本上運行這段代碼

% python dbutils.fs.put(" /磚/ init腳本/ set-private-pip-repositories-relay-feed-init-script。sh”、“”“# !/bin/bash如果(- n DEVOPS_GIT_PAT美元);然後使用美元DEVOPS_GIT_PAT別的回聲”帕特無法獲取令牌”fi printf(全球)\ n > /etc/pip.conf printf“extra-index-url = " > > /etc/pip.參看printf“https:// DEVOPS_GIT_PAT@artificat_url美元/ pypi /簡單/ \ n”> > /etc/pip.參看回聲“腳本執行“”“”,真的)

這是使用dbutils命令上傳的腳本DBFS位置dbfs: /磚/ init腳本/ set-private-pip-repositories-relay-feed-init-script.sh

使用磚秘密的範圍,你是正確的。分配的秘密火花在init腳本環境變量和引用它。請跟這兩個文檔

https://learn.microsoft.com/en-us/azure/databricks/security/secrets/secrets reference-a-secret-in-an……

https://www.pulumi.com/registry/packages/databricks/api-docs/cluster/ state_spark_env_vars_python

讓我知道這個信息可以幫助你。

[Sulfikkar]

嗨@Vivian威爾弗雷德,謝謝你的回應

我想保持init腳本回購,因為它總是可以回購管理。第二原因,我不想把dbfs中的init腳本是我一共有4環境和我想要避免手動上傳init腳本(通過筆記本)dbfs通過pulumi但我想這樣做。我可能是錯的,但你可以建議

[Sulfikkar]

我試著用ClusterInitScriptFileArgs如下,

init_scripts = [db。ClusterInitScriptArgs(文件= db。ClusterInitScriptFileArgs(目的地= " /文件/ set-private-pip-repositories-relay-feed-init-script。sh”)),

但是它的失敗與錯誤如下

磚:指數:集群(user-databricks-cluster):

錯誤:1發生錯誤:

*更新urn: pulumi:平台開發:::Beplay体育安卓版本磚:指數/集群:集群:user-databricks-cluster: 1發生錯誤:

*不能更新集群:init腳本文件(指定一個文件:/前綴)隻能為集群定義指定碼頭工人的容器中。

你能建議嗎?

[Vivian_Wilfred]

@Sulfikkar Basheer Shylaja集群使用一個定製的碼頭工人形象嗎?這裏的問題是,本地文件係統路徑(隻支持文件:/)如果你使用一個定製的碼頭工人的形象。在常規DBR運行時,隻能從dbfs init腳本,s3, gcs或adls。

你可能需要適應init腳本存儲在上麵的一個位置,因為集群不能讀取文件從您的本地文件係統。

這是不可能的甚至通過UI。

有不同的方法向DBFS上傳一個文件,你可以探索

dbutils,API,CLI