用Python調用Databricks REST API

需求

• Python版本3.6或以上。檢查是否安裝了Python，如果安裝了，請運行python——版本從您的PowerShell終端。安裝Python，如果它還沒有安裝。

  python的版本

  請注意

  一些安裝的Python需要python3而不是python。如果是這樣,取代python與python3在這篇文章。

• 的磚CLI。執行命令，查看Databricks命令行是否安裝，如果安裝，則查看安裝版本磚——版本。安裝Databricks命令行，執行皮普安裝databricks-cli或python- m皮普安裝databricks-cli。

  #檢查是否安裝了Databricks命令行，如果安裝了，檢查安裝的版本。磚,版本#安裝Databricks命令行。pip安裝databricks-cli#還是……Python -m PIP install databicks -cli

  請注意

  一些設施皮普需要pip3而不是皮普。如果是這樣,取代皮普與pip3在這篇文章。

• 你的工作區實例URL例如,https://dbc-a1b2345c-d6e7.cloud.www.eheci.com。

• Databricks個人訪問令牌。要創建個人訪問令牌，請參見生成個人訪問令牌。另請參閱管理個人訪問令牌。

第一步:設置身份驗證

要通過Databricks CLI包庫使用Databricks REST API進行身份驗證，你的Python代碼至少需要兩條信息:

• 你的工作空間實例URL。

• 你的Databricks個人訪問令牌。

為了代碼的模塊化、可移植性和安全性，不應該將這些信息硬編碼到Python代碼中。相反，你應該在運行時從一個安全的位置檢索這些信息。例如，本文中的代碼使用了以下環境變量:

• DATABRICKS_HOST，它表示您的工作區實例URL。

• DATABRICKS_TOKEN，它代表您的Databricks個人訪問令牌。

這些環境變量可以設置如下:

出口DATABRICKS_HOST=“https://dbc-a1b2345c-d6e78.cloud.www.eheci.com”出口DATABRICKS_TOKEN=“dapi1234567890b2cd34ef5a67bc8de90fa12b”

集DATABRICKS_HOST=“https://dbc-a1b2345c-d6e78.cloud.www.eheci.com”集DATABRICKS_TOKEN=“dapi1234567890b2cd34ef5a67bc8de90fa12b”

對於setxDATABRICKS_HOST“https://dbc-a1b2345c-d6e78.cloud.www.eheci.com”對於setxDATABRICKS_TOKEN“dapi1234567890b2cd34ef5a67bc8de90fa12b”

第二步:編寫代碼

1. 在Python代碼文件中，導入操作係統庫，使您的代碼能夠獲得環境變量值。

   進口操作係統

2. 導入ApiClient類的databricks_cli.sdk.api_client模塊，使您的代碼能夠使用Databricks REST API進行身份驗證。

   從databricks_cli.sdk.api_client進口ApiClient

3. 根據需要導入額外的類，以使您的代碼在身份驗證後能夠調用Databricks REST API，如下所示。

   REST API	進口語句
   集群策略API 2.0	從databricks_cli.cluster_policies.api進口ClusterPolicyApi
   集群API 2.0	從databricks_cli.clusters.api進口ClusterApi
   DBFS API 2.0	從databricks_cli.dbfs.api進口DbfsApi 從databricks_cli.dbfs.dbfs_path進口DbfsPath
   組API 2.0	從databricks_cli.groups.api進口GroupsApi
   實例池API 2.0	從databricks_cli.instance_pools.api進口InstancePoolsApi
   喬布斯API 2.1	從databricks_cli.jobs.api進口JobsApi(1) 從databricks_cli.runs.api進口RunsApi(2)
   庫API 2.0	從databricks_cli.libraries.api進口LibrariesApi
   Delta Live Tables API 2.0	從databricks_cli.pipelines.api進口PipelinesApi,LibraryObject
   回購API 2.0	從databricks_cli.repos.api進口ReposApi
   秘密API 2.0	從databricks_cli.secrets.api進口SecretApi
   令牌API 2.0	從databricks_cli.tokens.api進口TokensApi
   Unity Catalog API 2.1	從databricks_cli.unity_catalog.api進口UnityCatalogApi
   工作區API 2.0	從databricks_cli.workspace.api進口WorkspaceApi

   • (1)僅用於處理作業。

   • (2)僅用於作業運行。

   例如，要調用Clusters API 2.0，請添加以下代碼:

   從databricks_cli.clusters.api進口ClusterApi

4. 使用ApiClient類使用Databricks REST API進行身份驗證。使用操作係統圖書館的采用函數獲取工作區實例URL和Databricks個人訪問令牌值。下麵的例子使用變量名api_client的實例表示ApiClient類。

   api_client=ApiClient(宿主=操作係統。采用(“DATABRICKS_HOST”),令牌=操作係統。采用(“DATABRICKS_TOKEN”))

5. 初始化類的實例，在認證後調用Databricks REST API，例如:

   REST API	建議的類初始化語句
   集群策略API 2.0	cluster_policies_api=ClusterPolicyApi (api_client)
   集群API 2.0	clusters_api=ClusterApi (api_client)
   DBFS API 2.0	dbfs_api=DbfsApi (api_client)
   組API 2.0	groups_api=GroupsApi (api_client)
   實例池API 2.0	instance_pools_api=InstancePoolsApi (api_client)
   喬布斯API 2.1	jobs_api=JobsApi (api_client)(1) runs_api=RunsApi (api_client)(2)
   庫API 2.0	libraries_api=LibrariesApi (api_client)
   Delta Live Tables API 2.0	pipelines_api=PipelinesApi (api_client)
   回購API 2.0	repos_api=ReposApi (api_client)
   秘密API 2.0	secrets_api=SecretApi (api_client)
   令牌API 2.0	tokens_api=TokensApi (api_client)
   Unity Catalog API 2.1	unity_catalog_api=UnityCatalogApi (api_client)
   工作區API 2.0	workspace_api=WorkspaceApi (api_client)

   • (1)僅用於處理作業。

   • (2)僅用於作業運行。

   例如，要初始化群集API 2.0的一個實例，添加以下代碼:

   clusters_api=ClusterApi(api_client)

6. 根據需要調用對應於Databricks REST API操作的類方法。要查找該方法的調用簽名和使用說明，請參閱Databricks CLI源代碼中以下模塊的文檔。

   REST API	模塊的文檔
   集群策略API 2.0	databricks_cli.cluster_policies.api
   集群API 2.0	databricks_cli.clusters.api
   DBFS API 2.0	databricks_cli.dbfs.api databricks_cli.dbfs.dbfs_path
   組API 2.0	databricks_cli.groups.api
   實例池API 2.0	databricks_cli.instance_pools.api
   喬布斯API 2.1	databricks_cli.jobs.api(1) databricks_cli.runs.api(2)
   庫API 2.0	databricks_cli.libraries.api
   Delta Live Tables API 2.0	databricks_cli.databricks_cli.pipelines.api
   回購API 2.0	databricks_cli.repos.api
   秘密API 2.0	databricks_cli.secrets.api
   令牌API 2.0	databricks_cli.tokens.api
   Unity Catalog API 2.1	databricks_cli.unity_catalog.api
   工作區API 2.0	databricks_cli.workspace.api

   • (1)僅用於處理作業。

   • (2)僅用於作業運行。

   例如，要使用Clusters API 2.0在工作區中列出可用的集群名稱及其id，請添加以下代碼:

   clusters_list=clusters_api。list_clusters()打印(“集群名稱，集群ID”)為集群在clusters_list(“集群”]:打印(f”{集群(“cluster_name”]},{集群(“cluster_id”]}”)

以上指令的完整代碼如下:

進口操作係統從databricks_cli.sdk.api_client進口ApiClient從databricks_cli.clusters.api進口ClusterApiapi_client=ApiClient(宿主=操作係統。采用(“DATABRICKS_HOST”),令牌=操作係統。采用(“DATABRICKS_TOKEN”))clusters_api=ClusterApi(api_client)clusters_list=cluster_api。list_clusters()打印(“集群名稱，集群ID”)為集群在clusters_list(“集群”]:打印(f”{集群(“cluster_name”]},{集群(“cluster_id”]}”)

例子

下麵的例子展示了如何使用Databricks CLI和Python中的源代碼來自動化一些基本使用場景的Databricks REST API。

進口操作係統從databricks_cli.sdk.api_client進口ApiClient從databricks_cli.dbfs.api進口DbfsApi從databricks_cli.dbfs.dbfs_path進口DbfsPathapi_client=ApiClient(宿主=操作係統。采用(“DATABRICKS_HOST”),令牌=操作係統。采用(“DATABRICKS_TOKEN”))dbfs_source_file_path=“dbfs: / tmp /用戶/ someone@example.com//hello-world.txt”local_file_download_path=”。/ hello-world.txt 'dbfs_api=DbfsApi(api_client)dbfs_path=DbfsPath(dbfs_source_file_path)#本地下載工作空間文件。dbfs_api。get_file(dbfs_path,local_file_download_path,覆蓋=真正的)#打印下載文件的內容。打印(開放(local_file_download_path,“r”)。讀())

進口操作係統從databricks_cli.sdk.api_client進口ApiClient從databricks_cli.pipelines.api進口PipelinesApiapi_client=ApiClient(宿主=操作係統。采用(“DATABRICKS_HOST”),令牌=操作係統。采用(“DATABRICKS_TOKEN”))pipelines_api=PipelinesApi(api_client)pipelines_get=pipelines_api。得到(1234年a56b c789 - 0123 d456 - 78901234 e5f6”)打印(f“名稱:{pipelines_get(“名字”]}\ n”\fID:{pipelines_get(“pipeline_id”]}\ n”\f”狀態:{pipelines_get(“狀態”]}\ n”\f創造者:{pipelines_get(“creator_user_name”]}”)

進口操作係統從databricks_cli.sdk.api_client進口ApiClient從databricks_cli.unity_catalog.api進口UnityCatalogApiapi_client=ApiClient(宿主=操作係統。采用(“DATABRICKS_HOST”),令牌=操作係統。采用(“DATABRICKS_TOKEN”))unity_catalog_api=UnityCatalogApi(api_client)目錄=“主要”模式=“my_schema”#在指定的目錄中創建模式(也稱為數據庫)。unity_catalog_create_schema=unity_catalog_api。create_schema(catalog_name=目錄,schema_name=模式,評論=“這是我的schema”)打印(f”模式:{unity_catalog_create_schema(“名字”]}\ n”\f”老板:{unity_catalog_create_schema(“主人”]}\ n”\f“Metastore ID:{unity_catalog_create_schema(“metastore_id”]}”)#刪除模式。unity_catalog_api。delete_schema(f”{目錄}。{模式}”)

進口操作係統從databricks_cli.sdk.api_client進口ApiClient從databricks_cli.workspace.api進口WorkspaceApi,WorkspaceFileInfoapi_client=ApiClient(宿主=操作係統。采用(“DATABRICKS_HOST”),令牌=操作係統。采用(“DATABRICKS_TOKEN”))workspace_api=WorkspaceApi(api_client)workspace_list_objects=workspace_api。list_objects(“/用戶/ someone@example.com/”)為對象在workspace_list_objects:打印(對象。to_row(is_long_form=真正的,is_absolute=真正的))