嗨,團隊,
我試圖運行Azure DevOps管道如下提到的博客。
https://benalexkeen.com/unit-testing-with-databricks-part-2/
管道運行成功但是我不能看到任何運行在遠程集群。
databricks-connect隻使用CI過程的一部分?這是解耦與遠程集群?
我需要部署筆記本作為CD和運行過程的一部分筆記本為了顯示下工作運行?
我是新磚請指導我
@Rey喬恩:
Databricks-connect用於筆記本電腦運行在你的開發環境,而遠程集群上運行筆記本使用分布式集群環境。在你鏈接的博客,databricks-connect用於單元測試本地筆記本,和遠程集群是用於運行筆記本在分布式環境中。
如果你想看工作遠程集群上運行,您需要部署筆記本到遠程集群使用一個可用的部署方法,如磚CLI或磚API。筆記本被部署後,您可以創建和運行工作磚執行部署遠程集群上的筆記本電腦。
總之,您可以使用databricks-connect測試、開發本地筆記本,然後將它們部署到遠程集群運行在分布式環境中並查看工作運行。
建議使用databricks-connect @Suteja卡努裏人:管道配置和在那之後pytest情況下運行。
https://learn.microsoft.com/en-us/azure/databricks/dev-tools/ci-cd/ci-cd-azure-devops