當地發展磚

[isaac_gritz]

如何開發和你最喜歡的IDE上本地數據磚嗎

dbx是一個磚實驗室的項目,允許您在本地開發代碼,然後提交對磚互動和工作的計算集群從你最喜歡的當地IDE (AWS|Azure|GCP)如VS代碼、PyCharm IntelliJ或Eclipse。

dbx是磚CLI的延伸,也便於管理多個執行環境和部署配置以及預製模板等與流行的CI工具集成GitHub行動,Azure DevOps, GitLab。

磚都有一個官方擴展VS代碼能夠對工作或在本地執行代碼編寫通用集群。此外,還有一位官員磚的SQLTools司機VS代碼瀏覽SQL對象和運行SQL查詢的磚工作區VS代碼。

在評論中讓我們知道如果你有機會測試dbx或我們VS代碼為當地的IDE插件開發!

[werners1]

我用它來當地開發我們的庫。工作很好,但我還沒有使用它服從集群。

[matiasm]

我發現“dbx”真的很有趣。特別是它使與磚從當地環境的交互非常光滑。我喜歡dbx文檔描述了整個開發過程:這是我第一次看到支持好的工程實踐發展階段。

有一個用例,dbx不幫助我。我想開發一個模型隻使用本地pyspark dbfs和訪問數據。我願意使用“dbutils”,但在本地運行它我需要“databricks-connect”,它不支持磚運行時的11日,最新的一個。使用本地dbutils還有其他方法嗎?

[isaac_gritz]

嗨@Matias Marenchino遺憾的是你不能在本地運行dbutils但如果您可以使用dbx執行對交互式集群互動開發經驗。

[slowder]

我們可以建立一個helper函數,檢測如果我們通用pyspark與磚上的集群上運行。這樣,當磚dbutils並不可用,我們會有一個替身,讓我們分離,直到我們的代碼工作準備部署到集群。@Isaac Gritz