AWS Graviton-enabled集群

磚集群的支持AWS重子實例。這些實例使用aws設計的gravon處理器,該處理器構建在Arm64指令集架構之上。AWS聲稱,使用這些處理器的實例類型在Amazon EC2上的任何實例類型中具有最佳的性價比。

可用性

Databricks支持AWS gravon支持的集群:

請注意

啟用了gravon的集群不支持Delta Live表。

創建一個支持AWS gravon的集群

使用下麵的說明創建一個集群創建支持AWS gravon的集群。

指定集群的AWS gravon實例類型的過程取決於您用於創建集群的方法。下麵的說明是針對每個集群創建過程的:

創建按鈕或集群UI

按照下麵的說明創建一個集群。為磚的運行時版本的,選擇上麵列出的一個運行時可用性部分。為工作類型驅動程序類型或兩者都選擇,請選擇前麵列出的可用AWS gravon實例類型之一可用性部分。

磚REST API

  1. 設置身份驗證磚REST API,如果你還沒有這樣做。

  2. 使用您選擇的工具來調用Databricks REST API,例如旋度郵遞員

  3. 調用帖子集群/創建操作的集群API。例如,你可以用旋度撥打類似如下的電話:

    卷曲——netrc -X POSThttps://dbc-a1b2345c-d6e7.cloud.www.eheci.com/api/2.0/clusters/create——數據@create-cluster.json

    create-cluster.json:

    “cluster_name”:“my-cluster”“spark_version”:“10.2.x-scala2.12”“node_type_id”:“m6gd.large”“num_workers”:2

    前麵的請求負載指定了一個非photon運行時。要指定一個Photon運行時,添加runtime_engine:“光子”發送到請求有效負載,如下所示。(不添加光子的任何地方spark_version字段。)

    光子:

    “cluster_name”:“my-cluster”“spark_version”:“10.2.x-scala2.12”“node_type_id”:“m6gd.large”“num_workers”:2“runtime_engine”:“光子”

磚CLI

  1. 設置CLI而且設置身份驗證,如果你還沒有這樣做。

  2. 運行集群創建子命令的集群CLI。例如,可以執行如下的子命令:

    數據庫集群創建——json-file create-cluster.json

    create-cluster.json:

    “cluster_name”:“my-cluster”“spark_version”:“10.2.x-scala2.12”“node_type_id”:“m6gd.large”“num_workers”:2

    前麵的請求負載指定了一個非photon運行時。要指定一個Photon運行時,添加runtime_engine:“光子”發送到請求有效負載,如下所示。(不添加光子的任何地方spark_version字段。)

    光子:

    “cluster_name”:“my-cluster”“spark_version”:“10.2.x-scala2.12”“node_type_id”:“m6gd.large”“num_workers”:2“runtime_engine”:“光子”

磚起程拓殖的提供者

  1. 安裝和配置terrform操作所需的命令行工具,如果你還沒有這樣做。

  2. 創建並運行terrform配置,該配置將創建磚集群的資源。例如,您可以運行類似如下的最小配置:

    terrraform {required_providers {databricks = {source = "databricks/databricks"}}} provider "databricks" {} resource "databricks_cluster" "this" {cluster_name = "my-cluster" spark_version = "10.2.x-scala2.12" node_type_id = "m6gd. "num_workers = 2}

    前麵的請求負載指定了一個非photon運行時。要指定一個Photon運行時,添加runtime_engine:“光子”發送到請求有效負載,如下所示。(不添加光子的任何地方spark_version字段。)

    光子:

    資源"databricks_cluster" "this" {cluster_name = "my-cluster" spark_version = "10.2.x-scala2.12" node_type_id = "m6gd. "" num_workers = 2, runtime_engine = "PHOTON"}

限製

ARM64 ISA

  • 浮點精度變化:典型的操作,如加、減、乘、除,精度沒有變化。對於單個三角形函數,比如而且因為,與Intel實例的精度差的上限為1.11 e-16

  • 第三方支持:ISA中的更改可能會對第三方工具和庫的支持產生一些影響。

  • 混合實例集群:Databricks不支持混合AWS gravon和非AWS gravon實例類型,因為每種類型都需要不同的Databricks運行時。

特性

AWS gravon不支持以下特性:

  • 用於機器學習的Databricks運行時

  • ARM64上的JDK 11 for Databricks Runtime 10及以上版本

  • AWS膠metastore

  • 磚容器服務

另請參閱