databricks-connect Azure DevOps管道工作運行遠程集群上不顯示

[DataEngineer92]

嗨,團隊,

我試圖運行Azure DevOps管道如下提到的博客。

https://benalexkeen.com/unit-testing-with-databricks-part-2/

管道運行成功但是我不能看到任何運行在遠程集群。

databricks-connect隻使用CI過程的一部分?這是解耦與遠程集群?

我需要部署筆記本作為CD和運行過程的一部分筆記本為了顯示下工作運行?

我是新磚請指導我

[匿名]

@Rey喬恩:

Databricks-connect用於筆記本電腦運行在你的開發環境,而遠程集群上運行筆記本使用分布式集群環境。在你鏈接的博客,databricks-connect用於單元測試本地筆記本,和遠程集群是用於運行筆記本在分布式環境中。

如果你想看工作遠程集群上運行,您需要部署筆記本到遠程集群使用一個可用的部署方法,如磚CLI或磚API。筆記本被部署後,您可以創建和運行工作磚執行部署遠程集群上的筆記本電腦。

總之,您可以使用databricks-connect測試、開發本地筆記本,然後將它們部署到遠程集群運行在分布式環境中並查看工作運行。

[DataEngineer92]

建議使用databricks-connect @Suteja卡努裏人:管道配置和在那之後pytest情況下運行。

https://learn.microsoft.com/en-us/azure/databricks/dev-tools/ci-cd/ci-cd-azure-devops

[Vidula_Khanna]

嗨@Rey喬恩

謝謝你發布你的問題在我們的社區!我們很高興幫助你。

幫助我們為您提供最準確的信息,請您花一些時間來回顧反應和選擇一個最好的回答了你的問題嗎?

這也將有助於其他社區成員可能也有類似的問題在未來。謝謝你的參與,讓我們知道如果你需要任何進一步的援助!