使用Python調用磚REST API

需求

• Python版本3.6或更高版本。檢查是否安裝了Python,如果檢查安裝的版本,運行python——版本從你的PowerShell的終端。安裝Python如果尚未安裝。

  python的版本

  請注意

  一些安裝Python的需要python3而不是python。如果是這樣,取代python與python3在這篇文章。

• 遺留磚CLI版本0.17或更低。檢查是否遺留數據磚CLI安裝,如果檢查安裝的版本,運行磚——版本。安裝遺留數據磚CLI,運行皮普安裝databricks-cli或python- m皮普安裝databricks-cli。

  #檢查是否遺留數據磚CLI安裝,如果是檢查安裝的版本。#遺留數據磚CLI必須版本0.17或更低。磚,版本#安裝遺留數據磚CLI。pip安裝databricks-cli#還是……python - m pip安裝databricks-cli

  請注意

  一些設施皮普需要pip3而不是皮普。如果是這樣,取代皮普與pip3在這篇文章。

• 你的工作區實例URL例如,https://dbc-a1b2345c-d6e7.cloud.www.eheci.com

• 磚的個人訪問令牌或一個OAuth令牌服務主體為磚工作區。創建一個磚個人訪問令牌,看到的磚個人訪問令牌認證和管理個人訪問令牌。創建一個OAuth令牌服務主體,明白了使用OAuth身份驗證服務主體。

步驟1:設置身份驗證

驗證通過遺留數據磚與磚REST API的CLI包庫,您的Python代碼需要至少兩條信息:

• 你的工作區實例URL例如,https://dbc-a1b2345c-d6e7.cloud.www.eheci.com。

• 磚的個人訪問令牌或一個OAuth令牌服務主體為磚工作區。創建一個磚個人訪問令牌,看到的磚個人訪問令牌認證和管理個人訪問令牌。創建一個OAuth令牌服務主體,明白了使用OAuth身份驗證服務主體。

為代碼模塊化、可移植性和安全,你不應該硬編碼這些信息到您的Python代碼。相反,你應該檢索這些信息在運行時從一個安全的位置。例如,本文中的代碼使用以下環境變量:

• DATABRICKS_HOST代表你的工作區實例URL例如,https://dbc-a1b2345c-d6e7.cloud.www.eheci.com。

• DATABRICKS_TOKEN。磚的個人訪問令牌或一個OAuth令牌服務主體為磚工作區。創建一個磚個人訪問令牌,看到的磚個人訪問令牌認證和管理個人訪問令牌。創建一個OAuth令牌服務主體,明白了使用OAuth身份驗證服務主體。

你可以設置這些環境變量如下:

出口DATABRICKS_HOST=“https://dbc-a1b2345c-d6e78.cloud.www.eheci.com”出口DATABRICKS_TOKEN=“dapi1234567890b2cd34ef5a67bc8de90fa12b”

集DATABRICKS_HOST=“https://dbc-a1b2345c-d6e78.cloud.www.eheci.com”集DATABRICKS_TOKEN=“dapi1234567890b2cd34ef5a67bc8de90fa12b”

對於setxDATABRICKS_HOST“https://dbc-a1b2345c-d6e78.cloud.www.eheci.com”對於setxDATABRICKS_TOKEN“dapi1234567890b2cd34ef5a67bc8de90fa12b”

第二步:編寫代碼

1. 在您的Python代碼文件,導入操作係統代碼庫,使環境變量的值。

   進口操作係統

2. 導入ApiClient類的databricks_cli.sdk.api_client模塊,使您的代碼與磚REST API進行身份驗證。

   從databricks_cli.sdk.api_client進口ApiClient

3. 根據需要導入額外的類,使您的代碼調用磚REST API進行身份驗證後,如下。

   REST API	進口語句
   集群政策API 2.0	從databricks_cli.cluster_policies.api進口ClusterPolicyApi
   集群API 2.0	從databricks_cli.clusters.api進口ClusterApi
   DBFS API 2.0	從databricks_cli.dbfs.api進口DbfsApi 從databricks_cli.dbfs.dbfs_path進口DbfsPath
   組API 2.0	從databricks_cli.groups.api進口GroupsApi
   實例池API 2.0	從databricks_cli.instance_pools.api進口InstancePoolsApi
   喬布斯API 2.1	從databricks_cli.jobs.api進口JobsApi(1) 從databricks_cli.runs.api進口RunsApi(2)
   庫API 2.0	從databricks_cli.libraries.api進口LibrariesApi
   三角洲生活表2.0 API	從databricks_cli.pipelines.api進口PipelinesApi,LibraryObject
   回購API 2.0	從databricks_cli.repos.api進口ReposApi
   秘密API 2.0	從databricks_cli.secrets.api進口SecretApi
   令牌API 2.0	從databricks_cli.tokens.api進口TokensApi
   統一目錄API 2.1	從databricks_cli.unity_catalog.api進口UnityCatalogApi
   工作區API 2.0	從databricks_cli.workspace.api進口WorkspaceApi

   • (1)隻需要處理的工作。

   • (2)隻需要處理的工作。

   例如,調用集群API 2.0,添加以下代碼:

   從databricks_cli.clusters.api進口ClusterApi

4. 使用ApiClient類與磚REST API進行身份驗證。使用操作係統圖書館的采用函數的工作區實例URL例如,https://dbc-a1b2345c-d6e7.cloud.www.eheci.com和令牌的值。下麵的例子使用的變量名api_client代表的一個實例ApiClient類。

   api_client=ApiClient(主機=操作係統。采用(“DATABRICKS_HOST”),令牌=操作係統。采用(“DATABRICKS_TOKEN”))

5. 初始化類的實例來調用磚REST API進行身份驗證後,例如:

   REST API	建議類初始化語句
   集群政策API 2.0	cluster_policies_api=ClusterPolicyApi (api_client)
   集群API 2.0	clusters_api=ClusterApi (api_client)
   DBFS API 2.0	dbfs_api=DbfsApi (api_client)
   組API 2.0	groups_api=GroupsApi (api_client)
   實例池API 2.0	instance_pools_api=InstancePoolsApi (api_client)
   喬布斯API 2.1	jobs_api=JobsApi (api_client)(1) runs_api=RunsApi (api_client)(2)
   庫API 2.0	libraries_api=LibrariesApi (api_client)
   三角洲生活表2.0 API	pipelines_api=PipelinesApi (api_client)
   回購API 2.0	repos_api=ReposApi (api_client)
   秘密API 2.0	secrets_api=SecretApi (api_client)
   令牌API 2.0	tokens_api=TokensApi (api_client)
   統一目錄API 2.1	unity_catalog_api=UnityCatalogApi (api_client)
   工作區API 2.0	workspace_api=WorkspaceApi (api_client)

   • (1)隻需要處理的工作。

   • (2)隻需要處理的工作。

   例如,初始化的實例集群API 2.0,添加以下代碼:

   clusters_api=ClusterApi(api_client)

6. 根據需要調用類方法對應於磚REST API的操作。找到方法調用簽名和使用筆記,看到下麵的文檔模塊遺留磚CLI的源代碼。

   REST API	模塊的文檔
   集群政策API 2.0	databricks_cli.cluster_policies.api
   集群API 2.0	databricks_cli.clusters.api
   DBFS API 2.0	databricks_cli.dbfs.api databricks_cli.dbfs.dbfs_path
   組API 2.0	databricks_cli.groups.api
   實例池API 2.0	databricks_cli.instance_pools.api
   喬布斯API 2.1	databricks_cli.jobs.api(1) databricks_cli.runs.api(2)
   庫API 2.0	databricks_cli.libraries.api
   三角洲生活表2.0 API	databricks_cli.databricks_cli.pipelines.api
   回購API 2.0	databricks_cli.repos.api
   秘密API 2.0	databricks_cli.secrets.api
   令牌API 2.0	databricks_cli.tokens.api
   統一目錄API 2.1	databricks_cli.unity_catalog.api
   工作區API 2.0	databricks_cli.workspace.api

   • (1)隻需要處理的工作。

   • (2)隻需要處理的工作。

   例如,要使用集群API 2.0在工作區中可用的集群名稱及其id列表,添加以下代碼:

   clusters_list=clusters_api。list_clusters()打印(“集群名稱、集群ID”)為集群在clusters_list(“集群”]:打印(f”{集群(“cluster_name”]},{集群(“cluster_id”]}”)

前麵的說明的完整代碼如下:

進口操作係統從databricks_cli.sdk.api_client進口ApiClient從databricks_cli.clusters.api進口ClusterApiapi_client=ApiClient(主機=操作係統。采用(“DATABRICKS_HOST”),令牌=操作係統。采用(“DATABRICKS_TOKEN”))clusters_api=ClusterApi(api_client)clusters_list=cluster_api。list_clusters()打印(“集群名稱、集群ID”)為集群在clusters_list(“集群”]:打印(f”{集群(“cluster_name”]},{集群(“cluster_id”]}”)

例子

下麵的例子展示如何使用Python源代碼的遺留數據磚CLI和自動化的磚REST API的一些基本的使用場景。

進口操作係統從databricks_cli.sdk.api_client進口ApiClient從databricks_cli.dbfs.api進口DbfsApi從databricks_cli.dbfs.dbfs_path進口DbfsPathapi_client=ApiClient(主機=操作係統。采用(“DATABRICKS_HOST”),令牌=操作係統。采用(“DATABRICKS_TOKEN”))dbfs_source_file_path=“dbfs: / tmp /用戶/ someone@example.com//hello-world.txt'local_file_download_path=”。/ hello-world.txt 'dbfs_api=DbfsApi(api_client)dbfs_path=DbfsPath(dbfs_source_file_path)#本地工作區文件下載。dbfs_api。get_file(dbfs_path,local_file_download_path,覆蓋=真正的)#打印下載文件的內容。打印(開放(local_file_download_path,“r”)。讀())

進口操作係統從databricks_cli.sdk.api_client進口ApiClient從databricks_cli.pipelines.api進口PipelinesApiapi_client=ApiClient(主機=操作係統。采用(“DATABRICKS_HOST”),令牌=操作係統。采用(“DATABRICKS_TOKEN”))pipelines_api=PipelinesApi(api_client)pipelines_get=pipelines_api。得到(1234年a56b c789 - 0123 d456 - 78901234 e5f6”)打印(f“名稱:{pipelines_get(“名字”]}\ n”\fID:{pipelines_get(“pipeline_id”]}\ n”\f”狀態:{pipelines_get(“狀態”]}\ n”\f創造者:{pipelines_get(“creator_user_name”]}”)

進口操作係統從databricks_cli.sdk.api_client進口ApiClient從databricks_cli.unity_catalog.api進口UnityCatalogApiapi_client=ApiClient(主機=操作係統。采用(“DATABRICKS_HOST”),令牌=操作係統。采用(“DATABRICKS_TOKEN”))unity_catalog_api=UnityCatalogApi(api_client)目錄=“主要”模式=“my_schema”#創建模式(也稱為一個數據庫)中指定的目錄。unity_catalog_create_schema=unity_catalog_api。create_schema(catalog_name=目錄,schema_name=模式,評論=“這是我的模式”)打印(f”模式:{unity_catalog_create_schema(“名字”]}\ n”\f”老板:{unity_catalog_create_schema(“主人”]}\ n”\f“Metastore ID:{unity_catalog_create_schema(“metastore_id”]}”)#刪除模式。unity_catalog_api。delete_schema(f”{目錄}。{模式}”)

進口操作係統從databricks_cli.sdk.api_client進口ApiClient從databricks_cli.workspace.api進口WorkspaceApi,WorkspaceFileInfoapi_client=ApiClient(主機=操作係統。采用(“DATABRICKS_HOST”),令牌=操作係統。采用(“DATABRICKS_TOKEN”))workspace_api=WorkspaceApi(api_client)workspace_list_objects=workspace_api。list_objects(' /用戶/ someone@example.com/')為對象在workspace_list_objects:打印(對象。to_row(is_long_form=真正的,is_absolute=真正的))