取消
顯示的結果
而不是尋找
你的意思是:

如何讓一個小DBR形象嗎?

User16855813985
新的貢獻者二世

簡而言之,我們的目標是增加一個步驟CI工作將在容器中運行測試,據說模仿DBR集群——目前我們應該使用7.3。我們考慮使用databricksruntime圖片(可能是一個標準:7。x現在,https://hub.docker.com/r/databricksruntime/standard/tags)和計劃與pytest和其他一些庫定製它這裏描述:https://docs.www.eheci.com/clusters/custom-containers.html option-1-use-a-base-built-by-databricks

我們遇到的問題是,沒有圖片為特定小DBR版本,有一些不匹配的版本的python庫安裝在形象和那些在集群上安裝,https://docs.www.eheci.com/release-notes/runtime/7.3.html installed-python-libraries。你能建議如果有一個很好的選擇圖像特定DBR的版本,與庫版本匹配的實際DBR嗎?

6個回答6

werners1
尊敬的貢獻者三世

你需要構建它自己:

https://docs.microsoft.com/en-us/azure/databricks/clusters/custom-containers

但我懷疑你可以在本地運行,文檔特別提到發射一個集群

也隻提到的主要版本而不是未成年人,所以看起來是不可能的。

Atanu
尊敬的貢獻者
尊敬的貢獻者

嗨@Sepideh Ebrahimi,由於集群是磚專用的,你這不是在本地運行它。作為@Werner Stinckens說,你也可以建立自己的形象,但必須在集群中運行。但有磚連接(https://docs.www.eheci.com/dev-tools/databricks-connect.html)基本上讓你建立你的代碼在您的IDE,並執行相同的集群磚(這將運行在您的工作空間)。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map