AWS Graviton-enabled集群
磚集群的支持AWS重子實例。這些實例使用aws設計的gravon處理器,該處理器構建在Arm64指令集架構之上。AWS聲稱,使用這些處理器的實例類型在Amazon EC2上的任何實例類型中具有最佳的性價比。
可用性
Databricks支持AWS gravon支持的集群:
在Databricks Runtime 9.1 LTS以上為非光子,數據庫運行時10.2(不支持)和以上的Photon。
在所有AWS區域。但是請注意,並非所有的實例類型在所有的region中都可用。如果您為工作區選擇了Region中不可用的實例類型,則會出現集群創建失敗。
對於以下AWS gravon實例族:
non-Photon:
光子:
僅適用於AWS gravon2處理器。
請注意
啟用了gravon的集群不支持Delta Live表。
創建一個支持AWS gravon的集群
使用下麵的說明創建一個集群創建支持AWS gravon的集群。
指定集群的AWS gravon實例類型的過程取決於您用於創建集群的方法。下麵的說明是針對每個集群創建過程的:
創建按鈕或集群UI
按照下麵的說明創建一個集群。為磚的運行時版本的,選擇上麵列出的一個運行時可用性部分。為工作類型,驅動程序類型或兩者都選擇,請選擇前麵列出的可用AWS gravon實例類型之一可用性部分。
磚REST API
調用
帖子集群/創建
操作的集群API。例如,你可以用旋度
撥打類似如下的電話:卷曲——netrc -X POST\https://dbc-a1b2345c-d6e7.cloud.www.eheci.com/api/2.0/clusters/create\——數據@create-cluster.json
create-cluster.json
:{“cluster_name”:“my-cluster”,“spark_version”:“10.2.x-scala2.12”,“node_type_id”:“m6gd.large”,“num_workers”:2}
前麵的請求負載指定了一個非photon運行時。要指定一個Photon運行時,添加
runtime_engine:“光子”
發送到請求有效負載,如下所示。(不添加光子
的任何地方spark_version
字段。)光子:
{“cluster_name”:“my-cluster”,“spark_version”:“10.2.x-scala2.12”,“node_type_id”:“m6gd.large”,“num_workers”:2,“runtime_engine”:“光子”}
磚CLI
運行
集群創建
子命令的集群CLI。例如,可以執行如下的子命令:數據庫集群創建——json-file create-cluster.json
create-cluster.json
:{“cluster_name”:“my-cluster”,“spark_version”:“10.2.x-scala2.12”,“node_type_id”:“m6gd.large”,“num_workers”:2}
前麵的請求負載指定了一個非photon運行時。要指定一個Photon運行時,添加
runtime_engine:“光子”
發送到請求有效負載,如下所示。(不添加光子
的任何地方spark_version
字段。)光子:
{“cluster_name”:“my-cluster”,“spark_version”:“10.2.x-scala2.12”,“node_type_id”:“m6gd.large”,“num_workers”:2,“runtime_engine”:“光子”}
磚起程拓殖的提供者
安裝和配置terrform操作所需的命令行工具,如果你還沒有這樣做。
創建並運行terrform配置,該配置將創建磚集群的資源。例如,您可以運行類似如下的最小配置:
terrraform {required_providers {databricks = {source = "databricks/databricks"}}} provider "databricks" {} resource "databricks_cluster" "this" {cluster_name = "my-cluster" spark_version = "10.2.x-scala2.12" node_type_id = "m6gd. "num_workers = 2}
前麵的請求負載指定了一個非photon運行時。要指定一個Photon運行時,添加
runtime_engine:“光子”
發送到請求有效負載,如下所示。(不添加光子
的任何地方spark_version
字段。)光子:
資源"databricks_cluster" "this" {cluster_name = "my-cluster" spark_version = "10.2.x-scala2.12" node_type_id = "m6gd. "" num_workers = 2, runtime_engine = "PHOTON"}
限製
另請參閱
AWS引力子處理器在AWS網站上
AWS gravon開始GitHub上
AWS新聞博客:gravon在AWS網站上