Cluster-named和集群級init腳本遷移筆記本

容易cluster-named和集群級init腳本遷移到集群級init腳本作為工作區存儲文件。

寫的亞當Pavlacka

去年發表在:2023年7月17日

2023年9月1日,磚將禁用所有工作區cluster-named init腳本。這種類型的init腳本之前棄用,不會使用後9月1日,2023年。取而代之的是Cluster-named init腳本2018年8月集群級init腳本。集群級init腳本存儲為工作區文件繼續支持。

磚建議您cluster-named init腳本遷移到集群級init腳本存儲為工作區文件盡快。

您可以手動遷移cluster-named init腳本集群級init腳本(AWS|Azure)通過消除他們從保留DBFS路徑/磚/ init / <集群名稱>和存儲他們的工作區文件(AWS|Azure)。存儲為工作區文件後,您可以配置集群級的init腳本初始化腳本。init腳本遷移後,你應該禁用遺留cluster-named init腳本的工作區(AWS|Azure)。

另外,磚工程創造了一個筆記本,幫助遷移過程自動化。

這個筆記本做以下:

  • Cluster-named init腳本在工作區中遷移集群級init腳本作為工作區存儲文件。
  • Cluster-named init腳本在工作區中被禁用。
  • 集群級init腳本存儲在工作區中DBFS遷移到集群級init腳本作為工作區存儲文件。

刪除

信息

Cluster-named init腳本從未GCP工作區上可用。集群級DBFS init腳本是用於GCP工作區和應該遷移到集群級init腳本作為工作區存儲文件。你可以運行這個筆記本GCP工作區遷移現有集群級init腳本從DBFS工作區文件。

指令

刪除

警告

你必須是一個磚管理員運行此遷移筆記本。

先決條件

你必須運行此遷移筆記本使用磚集群上運行時11.3 LTS或以上。

您應該使用裸集群(沒有附加init腳本)來運行這個遷移筆記本,隨著遷移過程可能會迫使所有修改的重新啟動集群。

在運行遷移筆記本之前,你需要範圍的名字和秘密的名字你的個人訪問令牌。

有關更多信息,請查看創建一個Databricks-backed秘密範圍(AWS|Azure|GCP)和創建一個秘密Databricks-backed範圍(AWS|Azure|GCP)文檔。

刪除

信息

如果集群所有者不再存在於磚工作區,集群可能無法重新啟動後的初始化腳本遷移。在這種情況下,您將看到一個PERMISSION_DENIED錯誤消息。

錯誤:PERMISSION_DENIED:用戶標識:183738271817178在工作區中不存在用戶183738271817178在工作區中不存在了

為了防止這種情況的發生,你應該確保集群的所有者是當前用戶工作區。你可以更新集群業主使用改變集群所有者API(AWS|Azure|GCP)。

做一個排練

執行一個幹運行允許您測試工作區中的遷移的筆記本,沒有做任何修改。

  1. 下載遷移cluster-named和集群級init腳本筆記本。
  2. 導入筆記本到您的工作空間中。
  3. 把筆記本一個集群。
  4. 運行筆記本。
  5. UI屏幕出現運行筆記本後,連同最後一個命令失敗的一個警告。這是正常的。
  6. 確保排練被設置為真正的和新位置被設置為工作區文件。
    默認配置設置。
  7. 進入範圍名稱和秘密的名字到相應的字段。
  8. 運行筆記本。
  9. 演習的結果出現在筆記本的底部的輸出。
    從遷移筆記本幹運行輸出示例。

遷移您的init腳本

  1. 運行遷移cluster-named和集群級init腳本筆記本。
  2. UI屏幕出現運行筆記本後,連同最後一個命令失敗的一個警告。這是正常的。
  3. 在新位置下拉菜單中,選擇工作區文件。
  4. 進入範圍名稱和秘密的名字到相應的字段。
  5. 開始遷移通過選擇假在排練下拉菜單。
  6. 筆記本自動回放錄像時的價值排練是改變。


筆記本運行完成後,你的所有cluster-named init腳本遷移到集群級init腳本作為工作區存儲文件。你所有的集群級init腳本存儲在DBFS遷移集群級init腳本作為工作區存儲文件。

驗證遷移的init腳本

遷移後的init腳本搬到工作區:/ init腳本/ <集群名稱> / < original-script-name >。

Cluster-named init腳本

Cluster-named init腳本配置為集群級init腳本在相應的集群配置。

在工作區Cluster-named init腳本被禁用。他們不應該再使用。

集群級init腳本

集群級init腳本在DBFS現在作為工作區存儲文件。相應的集群配置自動更新。

權限

因為工作區文件acl,遷移集群級init腳本現在屬於管理遷移的筆記本。

您必須確保權限設置正確的遷移集群級init腳本如果你想要其他用戶能夠運行和/或編輯init腳本。

這篇文章有用嗎?