集群API 2.0

請注意

截至本版本，在穀歌Cloud上的Databricks上無法使用容器服務。

集群API允許您創建、啟動、編輯、列出、終止和刪除集群。群集API請求的最大允許大小是10MB。

集群生命周期方法需要一個集群ID，該ID從創建．要獲得集群列表，請調用列表．

Azure Databricks將集群節點實例類型映射到稱為DBUs的計算單元。

Databricks總是在停止支持某個實例類型之前提供一年的棄用通知。

警告

你不應該硬編碼秘密或者以純文本的形式存儲它們。使用秘密API 2.0來管理秘密數據庫命令行設置和文檔．使用秘密實用程序(dbutils.secrets)在筆記本和工作中提及秘密。

重要的

要訪問Databricks REST api，必須進行身份驗證．

創建

端點	HTTP方法
`2.0 / /創建的集群`	`帖子`

創建新的Apache Spark集群。如果需要，此方法將從雲提供程序獲取新實例。這個方法是異步的;返回的cluster_id可用於輪詢集群狀態。當此方法返回時，集群處於等待狀態。集群一旦進入運行狀態。看到ClusterState．

請注意

由於雲提供商的限製或瞬時網絡問題，Databricks可能無法獲取某些請求的節點。如果Databricks獲得了至少85%的請求按需節點，則集群創建將成功。否則，集群將終止並提示錯誤消息。

例子

              —netrc -X POST＼https://1234567890123456.7.gcp.www.eheci.com/api/2.0/clusters/create＼——數據@create-cluster.json
             

create-cluster.json：

              ｛“cluster_name”：“memoptimized-cluster-1”，“spark_version”：“7.5.x-scala2.12”，“spark_conf”：{},“gcp_attributes”：｛“use_preemptible_executors”：假}，“node_type_id”：“n1-highmem-4”，“driver_node_type_id”：“n1-highmem-4”，“ssh_public_keys”：[],“custom_tags”：{},“spark_env_vars”：｛“PYSPARK_PYTHON”：“磚/ python3 / bin / python3”}，“autotermination_minutes”：120，“enable_elastic_disk”：假，“cluster_source”：“API”，“init_scripts”：[],“num_workers”：25｝
             

              ｛“cluster_id”：“1234 - 567890 fogs123”｝
             

下麵是一個自動伸縮集群的示例。這個集群開始時最少有兩個節點。

              —netrc -X POST＼https://1234567890123456.7.gcp.www.eheci.com/api/2.0/clusters/create＼——數據@create-cluster.json
             

create-cluster.json：

              ｛“自動定量”：｛“min_workers”：2，“max_workers”：8}，“cluster_name”：“memoptimized-cluster-1”，“spark_version”：“7.5.x-scala2.12”，“spark_conf”：{},“gcp_attributes”：｛“use_preemptible_executors”：假}，“node_type_id”：“n1-highmem-4”，“driver_node_type_id”：“n1-highmem-4”，“ssh_public_keys”：[],“custom_tags”：{},“spark_env_vars”：｛“PYSPARK_PYTHON”：“磚/ python3 / bin / python3”}，“autotermination_minutes”：120，“enable_elastic_disk”：假，“cluster_source”：“API”，“init_scripts”：［］｝
             

              ｛“cluster_id”：“1234 - 567890 zing123”｝
             

中定義集群的屬性，以創建新集群new_cluster：

              —netrc -X POST＼https://1234567890123456.7.gcp.www.eheci.com/api/2.0/jobs/create＼——數據@create-job.json
             

create-job.json：

              ｛“run_name”：“我的火花任務”，“new_cluster”：｛“spark_version”：“7.5.x-scala2.12”，“node_type_id”：“n1-highmem-4”，“num_workers”：10，“policy_id”：“ABCD000000000000”}，“庫”：［｛“罐子”：“dbfs: / my-jar.jar”}，｛“專家”：｛“坐標”：“org.jsoup: jsoup: 1.7.2”｝｝]，“spark_jar_task”：｛“main_class_name”：“com.databricks.ComputeModels”｝｝
             

集群定義的請求結構

字段名	類型	描述
num_workers或自動縮放	`INT32`或自動定量	如果是num_workers，表示該集群應該擁有的工作節點的數量。一個集群有一個Spark驅動程序和num_workers執行程序，共num_workers + 1個Spark節點。注意:當讀取集群的屬性時，該字段反映所需的worker數量，而不是實際的worker數量。例如，如果一個集群從5個工作人員調整為10個工作人員，該字段將立即更新以反映10個工作人員的目標大小，而在`執行人`隨著新節點的準備，將從5個逐漸增加到10個。如果是自動伸縮，則需要根據負載自動上下伸縮集群所需的參數。
cluster_name	`字符串`	用戶請求的集群名稱。這個不一定是唯一的。如果在創建時未指定，則集群名稱將為空字符串。
spark_version	`字符串`	集群的運行時版本。控件可以檢索可用運行時版本的列表運行時版本API調用。該字段為必填項。
spark_conf	SparkConfPair	一個對象，包含一組可選的、用戶指定的Spark配置鍵值對。您還可以通過將一串額外的JVM選項傳遞給驅動程序和執行程序`spark.driver.extraJavaOptions`而且`spark.executor.extraJavaOptions`分別。使用實例Spark conf。`{“spark.speculation”:真的,“spark.streaming.ui.retainedBatches”:5}`或`{“spark.driver.extraJavaOptions”:“- verbose: gc- xx: + PrintGCDetails "}`
gcp_attributes	穀歌雲屬性	運行在穀歌Cloud上的集群相關屬性。如果在創建集群時未指定，則使用一組默認值。
node_type_id	`字符串`	該字段通過單個值編碼該集群中每個Spark節點可用的資源。例如，Spark節點可以針對內存或計算密集型工作負載進行配置和優化列表節點類型API調用。該字段為必填項。
driver_node_type_id	`字符串`	Spark驅動的節點類型。該字段是可選的;如果不設置，驅動節點類型將被設置為相同的值`node_type_id`上麵的定義。
ssh_public_keys	的數組`字符串`	設置為空數組。不支持集群SSH。
custom_tags	ClusterTag	總是設置為空數組。
cluster_log_conf	ClusterLogConf	將Spark日誌下發到長期存儲目的地的配置。一個集群隻能指定一個目標。如果設置了該參數，則每隔一段時間將日誌發送到目的地`5分鍾`．驅動日誌的目的為`<目標> / < cluster-ID > /司機`，執行器日誌的目的地為`<目標> / < cluster-ID > /執行人`．
init_scripts	的數組InitScriptInfo	存儲init腳本的配置。可以指定任意數量的目的地。腳本按照提供的順序依次執行。如果`cluster_log_conf`時，init腳本日誌發送到`<目標> / < cluster-ID > / init_scripts`．
spark_env_vars	SparkEnvPair	包含一組用戶指定的可選環境變量鍵值對的對象。表單(X,Y)的鍵值對按原樣導出(即，`出口X = Y`)，同時啟動司機和工人。以便指定額外的一組`SPARK_DAEMON_JAVA_OPTS`，我們建議將它們附加到`SPARK_DAEMON_JAVA_OPTS美元`如下例所示。這確保了所有默認的Databricks管理的環境變量也包括在內。使用實例Spark環境變量。`{“SPARK_WORKER_MEMORY”:“28000米”,“SPARK_LOCAL_DIRS”:" / local_disk0 "}`或`{“SPARK_DAEMON_JAVA_OPTS”:" $ SPARK_DAEMON_JAVA_OPTS-Dspark.shuffle.service.enabled = true "}`
autotermination_minutes	`INT32`	在集群處於非活動狀態後自動終止集群，以分鍾為單位。如果沒有設置，該集群將不會自動終止。如果指定，閾值必須在10到10000分鍾之間。還可以將此值設置為0以顯式禁用自動終止。
enable_elastic_disk	`保齡球`	總是設置為false。
idempotency_token	`字符串`	一個可選的令牌，可用於保證集群創建請求的冪等性。類中未指定等冪令牌的群集`終止`狀態時，請求不會創建新的集群，而是返回現有集群的ID。否則，將創建新的集群。當群集終止時，冪等令牌將被清除如果指定了冪等令牌，則在失敗時可以重試，直到請求成功。Databricks保證隻有一個集群將使用該等冪令牌啟動。這個標記最多應該有64個字符。
apply_policy_default_values	`保齡球`	是否使用政策缺少集群屬性的默認值。

響應結構

字段名	類型	描述
cluster_id	`字符串`	集群的規範標識符。

編輯

端點	HTTP方法
`2.0 /集群/編輯`	`帖子`

編輯集群的配置以匹配提供的屬性和大小。

類型中的集群，可以編輯該集群運行或終止狀態。如果在集群中編輯集群運行狀態時，它將重新啟動，以便新屬性生效。如果在集群中編輯集群終止國家，它將繼續存在終止．在下次啟動時使用集群/啟動API，新的屬性將生效。在任何其他狀態下編輯集群的嚐試將被拒絕INVALID_STATE錯誤代碼。

Databricks Jobs服務創建的集群不能被編輯。

例子

              —netrc -X POST＼https://1234567890123456.7.gcp.www.eheci.com/api/2.0/clusters/edit＼——數據@edit-cluster.json
             

edit-cluster.json：

              ｛“cluster_id”：“1202 - 211320 brick1”，“num_workers”：10，“spark_version”：“7.3.x-scala2.12”，“node_type_id”：“n1-standard-4”｝
             

{}

請求結構

字段名	類型	描述
num_workers或自動縮放	`INT32`或自動定量	如果是num_workers，表示該集群應該擁有的工作節點的數量。一個集群有一個Spark驅動程序和num_workers執行程序，共num_workers + 1個Spark節點。注意:當讀取集群的屬性時，該字段反映所需的worker數量，而不是實際的worker數量。例如，如果一個集群從5個工作人員調整為10個工作人員，該字段將立即更新以反映10個工作人員的目標大小，而在`執行人`隨著新節點的準備，將從5個逐漸增加到10個。如果是自動伸縮，則需要根據負載自動上下伸縮集群所需的參數。
cluster_name	`字符串`	用戶請求的集群名稱。這個不一定是唯一的。如果在創建時未指定，則集群名稱將為空字符串。
spark_version	`字符串`	集群的運行時版本。控件可以檢索可用運行時版本的列表運行時版本API調用。該字段為必填項。
spark_conf	SparkConfPair	一個對象，包含一組可選的、用戶指定的Spark配置鍵值對。您還可以通過將一串額外的JVM選項傳遞給驅動程序和執行程序`spark.driver.extraJavaOptions`而且`spark.executor.extraJavaOptions`分別。使用實例Spark conf。`{“spark.speculation”:真的,“spark.streaming.ui.retainedBatches”:5}`或`{“spark.driver.extraJavaOptions”:“- verbose: gc- xx: + PrintGCDetails "}`
gcp_attributes	穀歌雲屬性	運行在穀歌Cloud上的集群相關屬性。如果在創建集群時未指定，則使用一組默認值。
node_type_id	`字符串`	該字段通過單個值編碼該集群中每個Spark節點可用的資源。例如，Spark節點可以針對內存或計算密集型工作負載進行配置和優化列表節點類型API調用。該字段為必填項。
driver_node_type_id	`字符串`	Spark驅動的節點類型。該字段是可選的;如果不設置，驅動節點類型將被設置為相同的值`node_type_id`上麵的定義。
cluster_log_conf	ClusterLogConf	將Spark日誌下發到長期存儲目的地的配置。一個集群隻能指定一個目標。如果設置了該參數，則每隔一段時間將日誌發送到目的地`5分鍾`．驅動日誌的目的為`<目標> / < cluster-ID > /司機`，執行器日誌的目的地為`<目標> / < cluster-ID > /執行人`．
ssh_public_keys	的數組`字符串`	設置為空數組。不支持集群SSH。
custom_tags	ClusterTag	總是設置為空數組。
init_scripts	的數組InitScriptInfo	存儲init腳本的配置。可以指定任意數量的目的地。腳本按照提供的順序依次執行。如果`cluster_log_conf`時，init腳本日誌發送到`<目標> / < cluster-ID > / init_scripts`．
spark_env_vars	SparkEnvPair	包含一組用戶指定的可選環境變量鍵值對的對象。表單(X,Y)的鍵值對按原樣導出(即，`出口X = Y`)，同時啟動司機和工人。以便指定額外的一組`SPARK_DAEMON_JAVA_OPTS`，我們建議將它們附加到`SPARK_DAEMON_JAVA_OPTS美元`如下例所示。這確保了所有默認的Databricks管理的環境變量也包括在內。使用實例Spark環境變量。`{“SPARK_WORKER_MEMORY”:“28000米”,“SPARK_LOCAL_DIRS”:" / local_disk0 "}`或`{“SPARK_DAEMON_JAVA_OPTS”:" $ SPARK_DAEMON_JAVA_OPTS-Dspark.shuffle.service.enabled = true "}`
autotermination_minutes	`INT32`	在集群處於非活動狀態後自動終止集群，以分鍾為單位。如果沒有設置，該集群將不會自動終止。如果指定，閾值必須在10到10000分鍾之間。還可以將此值設置為0以顯式禁用自動終止。
apply_policy_default_values	`保齡球`	是否使用政策缺少集群屬性的默認值。

開始

端點	HTTP方法
`2.0 /集群/開始`	`帖子`

啟動給定ID的終止集群。這類似於createCluster,除了:

終止的集群ID和屬性將被保留。
集群從最後一個指定的集群大小開始。如果終止的集群是自動伸縮集群，則該集群以最小節點數開始。
如果集群處於重新啟動狀態,一個400返回錯誤。
不能啟動為運行作業而啟動的集群。

例子

              —netrc -X POST＼https://1234567890123456.7.gcp.www.eheci.com/api/2.0/clusters/start＼——數據'{"cluster_id": "1234-567890-reef123"}'
             

{}

請求結構

字段名	類型	描述
cluster_id	`字符串`	待啟動的集群。該字段為必填項。

重新啟動

端點	HTTP方法
`2.0 /集群/重新啟動`	`帖子`

重新啟動給定ID的集群。集群必須在運行狀態。

例子

              —netrc -X POST＼https://1234567890123456.7.gcp.www.eheci.com/api/2.0/clusters/restart＼——數據'{"cluster_id": "1234-567890-reef123"}'
             

{}

請求結構

字段名	類型	描述
cluster_id	`字符串`	待啟動的集群。該字段為必填項。

調整

端點	HTTP方法
`2.0 /集群/調整`	`帖子`

調整集群的大小，使其具有所需數量的工作人員。集群必須在運行狀態。

例子

              —netrc -X POST＼https://1234567890123456.7.gcp.www.eheci.com/api/2.0/clusters/resize＼——數據“{"cluster_id": "1234-567890-reef123"， "num_workers": 30}”
             

{}

請求結構

字段名

類型

描述

num_workers或自動縮放

INT32或自動定量

如果是num_workers，表示該集群應該擁有的工作節點的數量。一個集群有一個Spark驅動程序和num_workers執行程序，共num_workers + 1個Spark節點。

注意:當讀取集群的屬性時，該字段反映所需的worker數量，而不是實際的worker數量。例如，如果一個集群從5個工作人員調整為10個工作人員，該字段將立即更新以反映10個工作人員的目標大小，而在執行人隨著新節點的準備，將從5個逐漸增加到10個。

如果是自動伸縮，則需要根據負載自動上下伸縮集群所需的參數。

cluster_id

字符串

需要調整大小的集群。該字段為必填項。

刪除(終止)

端點	HTTP方法
`2.0 /集群/刪除`	`帖子`

終止給定ID的集群。異步移除集群。終止完成後，集群將處於終止狀態。如果集群已經在終止或終止狀態，什麼都不會發生。

除非集群是固定的，否則在集群終止後30天，它就是固定的永久刪除．

例子

              —netrc -X POST＼https://1234567890123456.7.gcp.www.eheci.com/api/2.0/clusters/delete＼——數據'{"cluster_id": "1234-567890-frays123"}'
             

{}

請求結構

字段名	類型	描述
cluster_id	`字符串`	要終止的集群。該字段為必填項。

永久刪除

端點	HTTP方法
`2.0 /集群/ permanent-delete`	`帖子`

永久刪除集群。如果集群正在運行，則將終止它，並異步刪除其資源。如果集群終止，則立即刪除它。

你不能執行任何行動，包括在永久刪除的集群上檢索集群的權限。永久刪除的集群也不再返回到集群列表中。

例子

              —netrc -X POST＼https://1234567890123456.7.gcp.www.eheci.com/api/2.0/clusters/permanent-delete＼——數據'{"cluster_id": "1234-567890-frays123"}'
             

{}

請求結構

字段名	類型	描述
cluster_id	`字符串`	待永久刪除的集群。該字段為必填項。

得到

端點	HTTP方法
`2.0 /集群`	`得到`

檢索給定標識符的集群的信息。集群可以在運行時描述，也可以在終止後最多30天描述。

例子

              —netrc -X GET＼https://1234567890123456.7.gcp.www.eheci.com/api/2.0/clusters/get＼——數據'{"cluster_id": "1234-567890-reef123"}'＼|金橋。
             

              ｛“cluster_id”：“1234 - 567890 reef123”，“司機”：｛“node_aws_attributes”：｛“is_spot”：假}，“private_ip”：“127.0.0.1”}，“cluster_name”：“my-cluster”，“spark_version”：“8.1.x-scala2.12”，“node_type_id”：“n1-standard-4”，“driver_node_type_id”：“n1-standard-4”，“autotermination_minutes”：120，“enable_elastic_disk”：假，“disk_spec”：{},“cluster_source”：“API”，“enable_local_disk_encryption”：假，“gcp_attributes”：｛“use_preemptible_executors”：假}，“instance_source”：｛“node_type_id”：“n1-standard-4”}，“driver_instance_source”：｛“node_type_id”：“n1-standard-4”}，“狀態”：“終止”，“state_message”：“群集因不活動而終止”，“start_time”：1619478205710，“terminated_time”：1619487451280，“last_state_loss_time”：1619478205710，“自動定量”：｛“min_workers”：2，“max_workers”：8}，“creator_user_name”：“someone@example.com”，“termination_reason”：｛“代碼”：“活動”，“參數”：｛“inactivity_duration_min”：“120”}，“類型”：“成功”}，“init_scripts_safe_mode”：假｝
             

請求結構

字段名	類型	描述
cluster_id	`字符串`	要檢索信息的集群。該字段為必填項。

響應結構

字段名	類型	描述
num_workers或自動縮放	`INT32`或自動定量	如果是num_workers，表示該集群應該擁有的工作節點的數量。一個集群有一個Spark驅動程序和num_workers執行程序，共num_workers + 1個Spark節點。注意:當讀取集群的屬性時，該字段反映所需的worker數量，而不是實際的worker數量。例如，如果一個集群從5個工作人員調整為10個工作人員，該字段將立即更新以反映10個工作人員的目標大小，而在`執行人`隨著新節點的準備，將從5個逐漸增加到10個。如果是自動伸縮，則需要根據負載自動上下伸縮集群所需的參數。
cluster_id	`字符串`	集群的規範標識符。這個ID在集群重新啟動和調整大小時保留，而每個新集群都有一個全局唯一的ID。
creator_user_name	`字符串`	創建者用戶名。如果用戶已被刪除，則該字段將不包含在響應中。
司機	SparkNode	Spark驅動所在節點。驅動程序節點包含Spark master和Databricks應用程序，該應用程序管理每個筆記本的Spark reps。
執行人	的數組SparkNode	Spark執行器所在的節點。
spark_context_id	`INT64`	規範的SparkContext標識符。這個值做重啟Spark驅動時，修改如下。這一對`(cluster_idspark_context_id)`是所有Spark上下文的全局唯一標識符。
jdbc_port	`INT32`	驅動節點中Spark JDBC服務器偵聽的端口。在執行節點中，沒有服務在此端口上偵聽。
cluster_name	`字符串`	用戶請求的集群名稱。這個不一定是唯一的。如果在創建時未指定，則集群名稱將為空字符串。
spark_version	`字符串`	集群的運行時版本。控件可以檢索可用運行時版本的列表運行時版本API調用。
spark_conf	SparkConfPair	一個對象，包含一組可選的、用戶指定的Spark配置鍵值對。您還可以通過將一串額外的JVM選項傳遞給驅動程序和執行程序`spark.driver.extraJavaOptions`而且`spark.executor.extraJavaOptions`分別。使用實例Spark conf。`{“spark.speculation”:真的,“spark.streaming.ui.retainedBatches”:5}`或`{“spark.driver.extraJavaOptions”:“- verbose: gc- xx: + PrintGCDetails "}`
gcp_attributes	穀歌雲屬性	運行在穀歌Cloud上的集群相關屬性。如果在創建集群時未指定，則將使用一組默認值。
node_type_id	`字符串`	該字段通過單個值編碼該集群中每個Spark節點可用的資源。例如，Spark節點可以針對內存或計算密集型工作負載進行配置和優化列表節點類型API調用。該字段為必填項。
driver_node_type_id	`字符串`	Spark驅動的節點類型。該字段是可選的;如果不設置，驅動節點類型將被設置為相同的值`node_type_id`上麵的定義。
custom_tags	ClusterTag	總是設置為空數組
cluster_log_conf	ClusterLogConf	將Spark日誌下發到長期存儲目的地的配置。一個集群隻能指定一個目標。如果設置了該參數，則每隔一段時間將日誌發送到目的地`5分鍾`．驅動日誌的目的為`<目標> / < cluster-ID > /司機`，執行器日誌的目的地為`<目標> / < cluster-ID > /執行人`．
init_scripts	的數組InitScriptInfo	存儲init腳本的配置。可以指定任意數量的目的地。腳本按照提供的順序依次執行。如果`cluster_log_conf`初始化腳本日誌將發送到該位置。
spark_env_vars	SparkEnvPair	包含一組用戶指定的可選環境變量鍵值對的對象。表單(X,Y)的鍵值對按原樣導出(即，`出口X = Y`)，同時啟動司機和工人。以便指定額外的一組`SPARK_DAEMON_JAVA_OPTS`，我們建議將它們附加到`SPARK_DAEMON_JAVA_OPTS美元`如下例所示。這確保了所有默認的Databricks管理的環境變量也包括在內。使用實例Spark環境變量。`{“SPARK_WORKER_MEMORY”:“28000米”,“SPARK_LOCAL_DIRS”:" / local_disk0 "}`或`{“SPARK_DAEMON_JAVA_OPTS”:" $ SPARK_DAEMON_JAVA_OPTS-Dspark.shuffle.service.enabled = true "}`
autotermination_minutes	`INT32`	在集群處於非活動狀態後自動終止集群，以分鍾為單位。如果沒有設置，該集群將不會自動終止。如果指定，閾值必須在10到10000分鍾之間。還可以將此值設置為0以顯式禁用自動終止。
instance_pool_id	`字符串`	始終設置為空。
cluster_source	ClusterSource	確定集群是由用戶通過UI、Databricks Jobs調度器、API請求還是由Delta Live Tables運行時創建的。示例值包括`API`，`用戶界麵`,或`管道`．
狀態	ClusterState	集群的狀態。
state_message	`字符串`	與最近的狀態轉換相關的消息(例如，集群進入狀態轉換的原因`終止`狀態)。
start_time	`INT64`	接收到集群創建請求的時間(以epoch毫秒為單位)`等待`狀態)。
terminated_time	`INT64`	集群終止的時間(以epoch毫秒為單位)(如果適用的話)。
last_state_loss_time	`INT64`	集群驅動程序最後一次失去狀態的時間(由於重新啟動或驅動程序故障)。
last_activity_time	`INT64`	集群最後一次活動的時間(以epoch毫秒為單位)。如果集群上至少有一個命令沒有完成，則集群是活動的。該字段在集群到達`運行`狀態。對該字段的更新是盡力而為。某些版本的Spark不支持報告集群活動。指自動終止獲取詳細信息。
cluster_memory_mb	`INT64`	集群內存總量，以兆字節為單位。
cluster_cores	`浮動`	此集群可用的CPU核數。這可能是分數，因為某些節點類型被配置為在同一實例上的Spark節點之間共享核心。
default_tags	ClusterTag	一個包含Databricks添加的一組標記的對象，與任何custom_tags無關，包括: 供應商:磚創造者:< username-of-creator > ClusterName: < name-of-cluster > ClusterId: < id-of-cluster > 名稱:<數據庫內部使用> 關於作業集群: RunName: < name-of-job > JobId: < id-of-job >
cluster_log_status	LogSyncStatus	集群日誌下發狀態。
termination_reason	TerminationReason	關於集群終止原因的信息。該字段僅當集群處於`終止`或`終止`狀態。

銷

請注意

你一定是個數據專家管理員調用此API。

端點	HTTP方法
`2.0 /集群/銷`	`帖子`

即使在終止集群超過30天之後，也要確保保留通用集群配置。方法返回群集列表API。釘住一個已經釘住的集群沒有效果。

例子

              —netrc -X POST＼https://1234567890123456.7.gcp.www.eheci.com/api/2.0/clusters/pin＼——數據'{"cluster_id": "1234-567890-reef123"}'
             

{}

請求結構

字段名	類型	描述
cluster_id	`字符串`	要固定的集群。該字段為必填項。

拔掉

請注意

你一定是個數據專家管理員調用此API。

端點	HTTP方法
`2.0 /集群/拔掉`	`帖子`

屬性返回的列表中移除集群列表API。解綁定未綁定的集群沒有效果。

例子

              —netrc -X POST＼https://1234567890123456.7.gcp.www.eheci.com/api/2.0/clusters/unpin＼——數據'{"cluster_id": "1234-567890-reef123"}'
             

{}

請求結構

字段名	類型	描述
cluster_id	`字符串`	要解除固定的集群。該字段為必填項。

列表

端點	HTTP方法
`2.0 /集群列表中`	`得到`

返回關於所有固定集群、活動集群、過去30天內最多200個最近終止的通用集群以及過去30天內最多30個最近終止的作業集群的信息。例如，如果有1個固定集群，4個活動集群，過去30天內有45個終止的通用集群，過去30天內有50個終止的作業集群，那麼這個API將返回1個固定集群，4個活動集群，全部45個終止的通用集群，以及最近終止的30個作業集群。

例子

              —netrc -X GET＼https://1234567890123456.7.gcp.www.eheci.com/api/2.0/clusters/list＼|金橋。
             

              ｛“集群”：［｛“cluster_id”：“1234 - 567890 reef123”，“司機”：｛“node_aws_attributes”：｛“is_spot”：假}，“private_ip”：“127.0.0.1”}，“cluster_name”：“my-cluster”，“spark_version”：“8.1.x-scala2.12”，“node_type_id”：“n1-standard-4”，“driver_node_type_id”：“n1-standard-4”，“autotermination_minutes”：120，“enable_elastic_disk”：假，“disk_spec”：{},“cluster_source”：“API”，“enable_local_disk_encryption”：假，“gcp_attributes”：｛“use_preemptible_executors”：假}，“instance_source”：｛“node_type_id”：“n1-standard-4”}，“driver_instance_source”：｛“node_type_id”：“n1-standard-4”}，“狀態”：“終止”，“state_message”：“群集因不活動而終止”，“start_time”：1619478205710，“terminated_time”：1619487451280，“last_state_loss_time”：1619478205710，“自動定量”：｛“min_workers”：2，“max_workers”：8}，“creator_user_name”：“someone@example.com”，“termination_reason”：｛“代碼”：“活動”，“參數”：｛“inactivity_duration_min”：“120”}，“類型”：“成功”}，“init_scripts_safe_mode”：假}，｛“…”｝］｝
             

響應結構

字段名	類型	描述
集群	的數組ClusterInfo	集群列表。

列表節點類型

端點	HTTP方法
`2.0 /集群/ list-node-types`	`得到`

返回支持的Spark節點類型列表。這些節點類型可用於啟動集群。

例子

              —netrc -X GET＼https://1234567890123456.7.gcp.www.eheci.com/api/2.0/clusters/list-node-types＼|金橋。
             

              ｛“node_type”：［｛“node_type_id”：“n2d - highcpu - 224”，“memory_mb”：229376，“num_cores”：224，“描述”：“n2d - highcpu - 224”，“instance_type_id”：“n2d - highcpu - 224”，“類別”：“計算優化”，“support_ebs_volumes”：真正的，“support_cluster_tags”：真正的，“num_gpus”：0，“support_port_forwarding”：真正的，“display_order”：0，“is_io_cache_enabled”：假}，｛“…”｝］｝
             

響應結構

字段名	類型	描述
node_type	的數組NodeType	可用的Spark節點類型列表。

運行時版本

端點	HTTP方法
`2.0 /集群/ spark-versions`	`得到`

返回可用的列表運行時版本．這些版本可用於啟動集群。

例子

              —netrc -X GET＼https://1234567890123456.7.gcp.www.eheci.com/api/2.0/clusters/spark-versions＼|金橋。
             

              ｛“版本”：［｛“關鍵”：“8.2.x-scala2.12”，“名稱”：8.2(包括Apache Spark 3.1.1, Scala 2.12)}，｛“…”｝］｝
             

響應結構

字段名	類型	描述
版本	的數組SparkVersion	所有可用的運行時版本。

事件

端點	HTTP方法
`2.0 /集群/事件`	`帖子`

檢索關於集群活動的事件列表。您可以從活動集群(正在運行、掛起或重新配置)和已終止集群中檢索事件，這些集群在最後一次終止後的30天內。這個API是分頁的。如果要讀取更多事件，則響應包含請求下一頁事件所需的所有參數。

例子:

             —netrc -X POST＼https://1234567890123456.7.gcp.www.eheci.com/api/2.0/clusters/events＼——數據@list-events.json＼|金橋。
            

list-events.json：

             ｛“cluster_id”：“1234 - 567890 reef123”，“start_time”：1617238800000，“end_time”：1619485200000，“秩序”：“DESC”，“抵消”：5，“限製”：5，“event_types”：［“運行”］｝
            

             ｛“事件”：［｛“cluster_id”：“1234 - 567890 reef123”，“時間戳”：1619471498409，“類型”：“運行”，“細節”：｛“current_num_workers”：2，“target_num_workers”：2｝}，｛“…”｝]，“next_page”：｛“cluster_id”：“1234 - 567890 reef123”，“start_time”：1617238800000，“end_time”：1619485200000，“秩序”：“DESC”，“抵消”：10，“限製”：5}，“total_count”：25｝
            

檢索下一頁事件的示例請求:

             —netrc -X POST＼https://1234567890123456.7.gcp.www.eheci.com/api/2.0/clusters/events＼——數據@list-events.json＼|金橋。
            

list-events.json：

             ｛“cluster_id”：“1234 - 567890 reef123”，“start_time”：1617238800000，“end_time”：1619485200000，“秩序”：“DESC”，“抵消”：10，“限製”：5，“event_types”：［“運行”］｝
            

             ｛“事件”：［｛“cluster_id”：“1234 - 567890 reef123”，“時間戳”：1618330776302，“類型”：“運行”，“細節”：｛“current_num_workers”：2，“target_num_workers”：2｝}，｛“…”｝]，“next_page”：｛“cluster_id”：“1234 - 567890 reef123”，“start_time”：1617238800000，“end_time”：1619485200000，“秩序”：“DESC”，“抵消”：15，“限製”：5}，“total_count”：25｝
            

請求結構

檢索與特定集群相關的事件。

字段名	類型	描述
cluster_id	`字符串`	要檢索事件的集群ID。該字段為必填項。
start_time	`INT64`	開始時間(以epoch毫秒為單位)。如果為空，則返回從時間起點開始的事件。
end_time	`INT64`	以epoch毫秒為單位的結束時間。如果為空，返回到當前時間的事件。
訂單	ListOrder	中列出事件的順序;要麼`ASC`或`DESC`．默認為`DESC`．
event_types	的數組ClusterEventType	要篩選的可選事件類型集。如果為空，則返回所有事件類型。
抵消	`INT64`	結果集中的偏移量。默認為0(沒有偏移量)。當指定偏移量並且按降序請求結果時，需要end_time字段。
限製	`INT64`	事件頁中包含的最大事件數。默認為50，最大允許值為500。

響應結構

字段名	類型	描述
事件	的數組ClusterEvent	匹配事件的列表。
next_page	請求結構	檢索下一頁事件所需的參數。如果沒有更多事件要讀取，則省略。
total_count	`INT64`	由start_time、end_time和event_type篩選的事件總數。

數據結構

本節:

自動定量

定義集群工作者的最小和最大數量的範圍。

字段名	類型	描述
min_workers	`INT32`	集群在未充分利用時可以縮減到的最小工作者數。它也是集群創建後將擁有的初始工作者數量。
max_workers	`INT32`	集群在超載時可以擴展到的最大工作者數。Max_workers必須嚴格大於min_workers。

ClusterInfo

集群元數據。

字段名	類型	描述
num_workers或自動縮放	`INT32`或自動定量	如果是num_workers，表示該集群應該擁有的工作節點的數量。一個集群有一個Spark驅動程序和num_workers執行程序，共num_workers + 1個Spark節點。注意:當讀取集群的屬性時，該字段反映所需的worker數量，而不是實際的worker數量。例如，如果一個集群從5個工作人員調整為10個工作人員，該字段將立即更新以反映10個工作人員的目標大小，而在`執行人`隨著新節點的準備，將從5個逐漸增加到10個。如果是自動伸縮，則需要根據負載自動上下伸縮集群所需的參數。
cluster_id	`字符串`	集群的規範標識符。這個ID在集群重新啟動和調整大小時保留，而每個新集群都有一個全局唯一的ID。
creator_user_name	`字符串`	創建者用戶名。如果用戶已被刪除，則該字段將不包含在響應中。
司機	SparkNode	Spark驅動所在節點。驅動程序節點包含Spark master和Databricks應用程序，該應用程序管理每個筆記本的Spark reps。
執行人	的數組SparkNode	Spark執行器所在的節點。
spark_context_id	`INT64`	規範的SparkContext標識符。這個值做重啟Spark驅動時，修改如下。這一對`(cluster_idspark_context_id)`是所有Spark上下文的全局唯一標識符。
jdbc_port	`INT32`	驅動節點中Spark JDBC服務器偵聽的端口。在執行節點中，沒有服務在此端口上偵聽。
cluster_name	`字符串`	用戶請求的集群名稱。這個不一定是唯一的。如果在創建時未指定，則集群名稱將為空字符串。
spark_version	`字符串`	集群的運行時版本。控件可以檢索可用運行時版本的列表運行時版本API調用。
spark_conf	SparkConfPair	一個對象，包含一組可選的、用戶指定的Spark配置鍵值對。您還可以通過將一串額外的JVM選項傳遞給驅動程序和執行程序`spark.driver.extraJavaOptions`而且`spark.executor.extraJavaOptions`分別。使用實例Spark conf。`{“spark.speculation”:真的,“spark.streaming.ui.retainedBatches”:5}`或`{“spark.driver.extraJavaOptions”:“- verbose: gc- xx: + PrintGCDetails "}`
gcp_attributes	穀歌雲屬性	運行在穀歌Cloud上的集群相關屬性。
node_type_id	`字符串`	該字段通過單個值編碼該集群中每個Spark節點可用的資源。例如，Spark節點可以針對內存或計算密集型工作負載進行配置和優化。方法可以檢索可用節點類型的列表列表節點類型API調用。
driver_node_type_id	`字符串`	Spark驅動的節點類型。該字段是可選的;如果不設置，驅動節點類型將被設置為相同的值`node_type_id`上麵的定義。
ssh_public_keys	的數組`字符串`	設置為空數組。不支持集群SSH。
custom_tags	的數組ClusterTag	總是設置為空數組。
cluster_log_conf	ClusterLogConf	將Spark日誌下發到長期存儲目的地的配置。一個集群隻能指定一個目標。如果設置了該參數，則每隔一段時間將日誌發送到目的地`5分鍾`．驅動日誌的目的為`<目標> / < cluster-ID > /司機`，執行器日誌的目的地為`<目標> / < cluster-ID > /執行人`．
init_scripts	的數組InitScriptInfo	存儲init腳本的配置。可以指定任意數量的目的地。腳本按照提供的順序依次執行。如果指定了cluster_log_conf, init腳本日誌發送到`<目標> / < cluster-ID > / init_scripts`．
spark_env_vars	SparkEnvPair	包含一組用戶指定的可選環境變量鍵值對的對象。表單(X,Y)的鍵值對按原樣導出(即，`出口X = Y`)，同時啟動司機和工人。指定一組附加的`SPARK_DAEMON_JAVA_OPTS`，我們建議將它們附加到`SPARK_DAEMON_JAVA_OPTS美元`如下例所示。這確保所有默認數據庫管理的環境變量也包括在內。使用實例Spark環境變量。`{“SPARK_WORKER_MEMORY”:“28000米”,“SPARK_LOCAL_DIRS”:" / local_disk0 "}`或`{“SPARK_DAEMON_JAVA_OPTS”:" $ SPARK_DAEMON_JAVA_OPTS-Dspark.shuffle.service.enabled = true "}`
autotermination_minutes	`INT32`	在集群處於非活動狀態後自動終止集群，以分鍾為單位。如果沒有設置，該集群將不會自動終止。如果指定，閾值必須在10到10000分鍾之間。還可以將此值設置為0以顯式禁用自動終止。
instance_pool_id	`字符串`	集群所屬實例池的可選ID。指池獲取詳細信息。
cluster_source	ClusterSource	確定集群是由用戶通過UI、Databricks Jobs調度器、API請求還是由Delta Live Tables運行時創建的。示例值包括`API`，`用戶界麵`,或`管道`．
狀態	ClusterState	集群的狀態。
state_message	`字符串`	與最近的狀態轉換相關聯的消息(例如，集群為什麼進入一個`終止`狀態)。該字段是非結構化的，其確切格式可能會發生變化。
start_time	`INT64`	接收到集群創建請求的時間(以epoch毫秒為單位)`等待`狀態)。
terminated_time	`INT64`	集群終止的時間(以epoch毫秒為單位)(如果適用的話)。
last_state_loss_time	`INT64`	集群驅動程序最後一次失去狀態的時間(由於重新啟動或驅動程序故障)。
last_activity_time	`INT64`	集群最後一次活動的時間(以epoch毫秒為單位)。如果集群上至少有一個命令沒有完成，則集群是活動的。該字段在集群達到a後可用`運行`狀態。對該字段的更新是盡力而為。某些版本的Spark不支持報告集群活動。指自動終止獲取詳細信息。
cluster_memory_mb	`INT64`	集群內存總量，以兆字節為單位。
cluster_cores	`浮動`	此集群可用的CPU核數。這可能是分數，因為某些節點類型被配置為在同一實例上的Spark節點之間共享核心。
default_tags	ClusterTag	一個包含Databricks添加的一組標記的對象，與任何custom_tags無關，包括: 供應商:磚創造者:< username-of-creator > ClusterName: < name-of-cluster > ClusterId: < id-of-cluster > 名稱:<數據庫內部使用> 關於作業集群: RunName: < name-of-job > JobId: < id-of-job >
cluster_log_status	LogSyncStatus	集群日誌下發狀態。
termination_reason	TerminationReason	關於集群終止原因的信息。此字段僅在集群處於`終止`或`終止`狀態。

ClusterEvent

集群事件信息。

字段名	類型	描述
cluster_id	`字符串`	集群的規範標識符。該字段為必填項。
時間戳	`INT64`	事件發生時的時間戳，存儲為自unix紀元以來的毫秒數。由Timeline服務指定。
類型	ClusterEventType	事件類型。該字段為必填項。
細節	EventDetails	事件詳細信息。該字段為必填項。

ClusterEventType

集群事件類型。

事件類型	描述
創建	表示正在創建集群。
DID_NOT_EXPAND_DISK	指示磁盤空間不足，但添加磁盤將使其超過最大容量。
EXPANDED_DISK	磁盤空間不足，進行了擴容。
FAILED_TO_EXPAND_DISK	磁盤空間不足，無法擴容。
INIT_SCRIPTS_STARTING	指示集群作用域的初始化腳本已啟動。
INIT_SCRIPTS_FINISHED	指示集群作用域的初始化腳本已完成。
開始	表示集群正在啟動。
重新啟動	表示集群正在啟動。
終止	表示集群正在終止。
編輯	表示集群已被編輯。
運行	表示集群創建完成。包括集群中的節點數量以及無法獲取某些節點時的失敗原因。
調整	指示集群目標大小的變化(增大或減小)。
UPSIZE_COMPLETED	節點加入集群完成。包括集群中的節點數量以及無法獲取某些節點時的失敗原因。
NODES_LOST	表示集群中有節點丟失。
DRIVER_HEALTHY	指示驅動程序運行正常，並且集群可以使用。
DRIVER_UNAVAILABLE	表示該驅動不可用。
SPARK_EXCEPTION	指示從驅動程序拋出Spark異常。
DRIVER_NOT_RESPONDING	指示驅動程序啟動但沒有響應，可能是由於GC。
DBFS_DOWN	指示驅動程序處於up狀態，而DBFS處於down狀態。
METASTORE_DOWN	表示驅動是向上的，而亞metastore是向下的。
NODE_BLACKLISTED	表示該節點不被Spark使用。
固定	表示集群被固定。
拔掉	集群被解除固定。

EventDetails

集群事件的詳細信息。

字段名	類型	描述
current_num_workers	`INT32`	集群中的節點數量。
target_num_workers	`INT32`	集群中的目標節點數量。
previous_attributes	穀歌雲屬性	編輯集群之前的集群屬性。
屬性	穀歌雲屬性	對於已創建的集群，該集群的屬性。對於已編輯的集群，為集群的新屬性。
previous_cluster_size	ClusterSize	編輯或調整大小之前的群集大小。
cluster_size	ClusterSize	在創建或編輯集群時設置的集群大小。
導致	ResizeCause	目標大小改變的原因。
原因	TerminationReason	一、終止原因: 在一個`終止`事件，終止的原因。在一個`RESIZE_COMPLETE`事件，表示獲取某些節點失敗的原因。
用戶	`字符串`	導致事件發生的用戶。(如果是Databricks做的，則為空。)

穀歌雲屬性

創建集群時設置的穀歌Cloud相關屬性。

重要的

要與GCS和BigQuery一起使用，用於訪問數據源的穀歌服務帳戶必須與設置Databricks帳戶時指定的SA位於同一個項目中。

ClusterAttributes

創建集群時設置的公共屬性集。在集群的生命周期內不能更改這些屬性。

字段名	類型	描述
cluster_name	`字符串`	用戶請求的集群名稱。這個不一定是唯一的。如果在創建時未指定，則集群名稱將為空字符串。
spark_version	`字符串`	集群的運行時版本，例如“5.0.x-scala2.11”。控件可以檢索可用運行時版本的列表運行時版本API調用。
spark_conf	SparkConfPair	一個對象，包含一組可選的、用戶指定的Spark配置鍵值對。您還可以通過將一串額外的JVM選項傳遞給驅動程序和執行程序`spark.driver.extraJavaOptions`而且`spark.executor.extraJavaOptions`分別。使用實例Spark conf。`{“spark.speculation”:真的,“spark.streaming.ui.retainedBatches”:5}`或`{“spark.driver.extraJavaOptions”:“- verbose: gc- xx: + PrintGCDetails "}`
gcp_attributes	穀歌雲屬性	運行在穀歌Cloud上的集群相關屬性。如果在創建集群時未指定，則將使用一組默認值。
node_type_id	`字符串`	該字段通過單個值編碼該集群中每個Spark節點可用的資源。例如，Spark節點可以針對內存或計算密集型工作負載進行配置和優化列表節點類型API調用。
driver_node_type_id	`字符串`	Spark驅動的節點類型。該字段是可選的;如果不設置，驅動節點類型將被設置為相同的值`node_type_id`上麵的定義。
ssh_public_keys	的數組`字符串`	設置為空數組。不支持集群SSH。
custom_tags	ClusterTag	一個對象，包含一組用於集群資源的標記。Databricks除了default_tags外，還使用這些標簽標記所有集群資源。請注意：在計算優化和內存優化等遺留節點類型上不支持標記。 Databricks最多允許45個自定義標記。
cluster_log_conf	ClusterLogConf	將Spark日誌下發到長期存儲目的地的配置。一個集群隻能指定一個目標。如果設置了該參數，則每隔一段時間將日誌發送到目的地`5分鍾`．驅動日誌的目的為`<目標> / < cluster-ID > /司機`，執行器日誌的目的地為`<目標> / < cluster-ID > /執行人`．
init_scripts	的數組InitScriptInfo	存儲init腳本的配置。可以指定任意數量的目的地。腳本按照提供的順序依次執行。如果`cluster_log_conf`時，init腳本日誌發送到`<目標> / < cluster-ID > / init_scripts`．
spark_env_vars	SparkEnvPair	包含一組用戶指定的可選環境變量鍵值對的對象。表單(X,Y)的鍵值對按原樣導出(即，`出口X = Y`)，同時啟動司機和工人。以便指定額外的一組`SPARK_DAEMON_JAVA_OPTS`，我們建議將它們附加到`SPARK_DAEMON_JAVA_OPTS美元`如下例所示。這確保所有默認數據庫管理的環境變量也包括在內。使用實例Spark環境變量。`{“SPARK_WORKER_MEMORY”:“28000米”,“SPARK_LOCAL_DIRS”:" / local_disk0 "}`或`{“SPARK_DAEMON_JAVA_OPTS”:" $ SPARK_DAEMON_JAVA_OPTS-Dspark.shuffle.service.enabled = true "}`
autotermination_minutes	`INT32`	在集群處於非活動狀態後自動終止集群，以分鍾為單位。如果沒有設置，該集群將不會自動終止。如果指定，閾值必須在10到10000分鍾之間。還可以將此值設置為0以顯式禁用自動終止。
instance_pool_id	`字符串`	集群所屬實例池的可選ID。指池獲取詳細信息。
cluster_source	ClusterSource	確定集群是由用戶通過UI、Databricks Jobs調度器、API請求還是由Delta Live Tables運行時創建的。示例值包括`API`，`用戶界麵`,或`管道`．
policy_id	`字符串`	一個集群政策ID。

ClusterSize

集群大小規範。

字段名

類型

描述

num_workers或自動縮放

INT32或自動定量

如果是num_workers，表示該集群應該擁有的工作節點的數量。一個集群有一個Spark驅動程序和num_workers執行程序，共num_workers + 1個Spark節點。

當讀取集群的屬性時，該字段反映所需的worker數量，而不是實際的worker數量。例如，如果集群從5個工作人員調整為10個工作人員，則該字段將更新以反映10個工作人員的目標大小，而在executor中列出的工作人員隨著新節點的供應逐漸從5增加到10。

如果是自動伸縮，則需要根據負載自動上下伸縮集群所需的參數。

ListOrder

基於列表的查詢的通用排序枚舉。

訂單	描述
DESC	降序排列。
ASC	升序排序。

ResizeCause

集群調整大小的原因。

導致	描述
自動定量	根據負載自動調整大小。
USER_REQUEST	用戶請求新的大小。
AUTORECOVERY	自動恢複監控器在丟失節點後調整了集群的大小。

ClusterLogConf

集群日誌路徑。

字段名	類型	描述
	DbfsStorageInfo	集群日誌的DBFS位置。必須提供目的地。例如,`｛“dbfs”：｛“目的地”：“dbfs: / home / cluster_log”｝｝`

InitScriptInfo

初始化腳本路徑。有關使用init腳本的說明Databricks容器服務,請參閱＿．

請注意

該文件存儲類型僅適用於使用Databricks容器服務．

字段名

類型

描述

DbfsStorageInfo

FileStorageInfo

初始化腳本的DBFS位置。必須提供目的地。例如,｛“dbfs”：｛“目的地”：“dbfs: / home / init_script”｝｝

初始化腳本的文件位置。必須提供目的地。例如,｛“文件”：｛“目的地”：“文件:/我的/地方/ file.sh”｝｝

ClusterTag

集群標記定義。

DbfsStorageInfo

DBFS存儲信息。

字段名	類型	描述
目的地	`字符串`	DBFS目的地。例子:`dbfs: /我/路徑`

FileStorageInfo

文件存儲信息。

請注意

此位置類型僅適用於使用Databricks容器服務．

字段名	類型	描述
目的地	`字符串`	文件的目的地。例子:`文件:/我/ file.sh`

DockerImage

Docker映像連接信息。

場	類型	描述
url	字符串	Docker映像的URL。
basic_auth	DockerBasicAuth	Docker存儲庫的基本身份驗證信息。

DockerBasicAuth

Docker存儲庫基本身份驗證信息。

場	描述
用戶名	Docker存儲庫的用戶名。
密碼	Docker存儲庫的密碼。

LogSyncStatus

日誌下發狀態。

字段名	類型	描述
last_attempted	`INT64`	最後一次嚐試的時間戳。如果最後一次嚐試失敗，last_exception包含最後一次嚐試中的異常。
last_exception	`字符串`	在最後一次嚐試中拋出的異常，如果在最後一次嚐試中沒有異常，則該異常將為空(在響應中省略)。

NodeType

Spark節點類型的描述，包括節點的尺寸和承載該節點的實例類型。

字段名	類型	描述
node_type_id	`字符串`	此節點類型的唯一標識符。該字段為必填項。
memory_mb	`INT32`	該節點類型的可用內存(單位:MB)。該字段為必填項。
num_cores	`浮動`	該節點類型的可用CPU核數。如果機器實例上的內核數不能被該機器上的Spark節點數整除，則這可能是小數。該字段為必填項。
描述	`字符串`	與此節點類型關聯的字符串描述。該字段為必填項。
instance_type_id	`字符串`	運行此節點的硬件類型的標識符。該字段為必填項。
is_deprecated	`保齡球`	節點類型是否已棄用。未棄用的節點類型提供了更好的性能。
node_info	ClusterCloudProviderNodeInfo	雲提供商上報的節點類型信息。

ClusterCloudProviderNodeInfo

關於雲提供商提供的實例的信息。

字段名	類型	描述
狀態	ClusterCloudProviderNodeStatus	由雲提供商報告的狀態。
available_core_quota	`INT32`	CPU可用內核配額。
total_core_quota	`INT32`	總CPU內核配額。

ClusterCloudProviderNodeStatus

由雲提供商提供的實例的狀態。

狀態	描述
NotEnabledOnSubscription	無法訂閱節點類型。
NotAvailableInRegion	區域中沒有節點類型。

ParameterPair

參數，該參數提供有關集群終止原因的附加信息。

類型	描述
TerminationParameter	終止信息的類型。
`字符串`	終止信息。

SparkConfPair

Spark配置鍵值對。

類型	描述
`字符串`	配置屬性名。
`字符串`	配置屬性值。

SparkEnvPair

Spark環境變量鍵值對。

重要的

在作業集群中指定環境變量時，此數據結構中的字段僅接受拉丁字符(ASCII字符集)。使用非ascii字符將返回錯誤。無效的、非ascii字符的例子有中文、日本漢字和表情符號。

類型	描述
`字符串`	環境變量名。
`字符串`	環境變量值。

SparkNode

Spark驅動或執行器配置。

SparkVersion

Databricks集群運行時版本號。

字段名	類型	描述
關鍵	`字符串`	Databricks運行時版本號比如鍵`7.3.x-scala2.12`．類型提供的值`spark_version`創建新集群時。對於“通配符”版本，確切的運行時版本可能隨著時間的推移而改變(即，`7.3.x-scala2.12`是一個“通配符”版本)與小錯誤修複。
的名字	`字符串`	運行時版本的描述性名稱，例如“Databricks runtime 7.3 LTS”。

TerminationReason

集群被終止的原因。

字段名	類型	描述
代碼	TerminationCode	指示集群終止原因的狀態代碼。
類型	TerminationType	指示集群被終止的原因。
參數	ParameterPair	對象，該對象包含一組參數，這些參數提供有關集群終止原因的信息。

PoolClusterTerminationCode

狀態代碼，指示由於池故障而終止集群的原因。

代碼	描述
INSTANCE_POOL_MAX_CAPACITY_FAILURE	已達到池的最大容量。
INSTANCE_POOL_NOT_FOUND_FAILURE	集群指定的池不再活動或不存在。

ClusterSource

創建集群的服務。

服務	描述
用戶界麵	通過UI創建的集群。
工作	由Databricks作業調度器創建的集群。
API	通過API調用創建的集群。

ClusterState

集群的狀態。允許的狀態轉換如下:

等待->運行
等待->終止
運行->調整
運行->重新啟動
運行->終止
重新啟動->運行
重新啟動->終止
調整->運行
調整->終止
終止->終止

狀態	描述
`等待`	表示集群正在創建過程中。
`運行`	表示集群已經啟動，可以使用。
`重新啟動`	表示集群正在重新啟動。
`調整`	表示集群正在進行節點的增加或移除操作。
`終止`	表示集群正在被銷毀。
`終止`	表示集群已被成功銷毀。
`錯誤`	這種狀態不再使用。用於表示創建集群失敗。`終止`而且`終止`被用來代替。
`未知的`	表示集群處於未知狀態。集群不應該處於這種狀態。

TerminationCode

指示集群終止原因的狀態代碼。

TerminationType

集群被終止的原因。

類型	描述
成功	終止成功了。
CLIENT_ERROR	Non-retriable。客戶端在重新嚐試創建集群之前必須修複參數。
SERVICE_FAULT	數據服務問題。客戶端可以重試。
CLOUD_FAILURE	雲提供商基礎設施問題。客戶端可以在解決基礎問題後重試。

TerminationParameter

提供關於終止群集原因的附加信息的鍵。

GcpAvailability

GCP實例可用性類型行為。

類型	描述
PREEMPTIBLE_GCP	使用可搶占實例。可搶占實例的開銷比按需實例低，但可能會被GKE搶占。
ON_DEMAND_GCP	使用按需實例。
PREEMPTIBLE_WITH_FALLBACK_GCP	最好使用可搶占實例，但如果無法獲得可搶占實例(例如，如果該區域中沒有更多可搶占實例)，則退回到按需實例。