使用Databricks容器服務定製容器

選項1。使用Databricks構建的基礎

此示例使用9.倍標記的映像將針對運行時版本為Databricks runtime 9.0及以上的集群:

從databricksruntime /標準:9。x……

若要指定其他Python庫，例如pandas和urllib的最新版本，請使用容器特定的版本皮普．為datatabricksruntime /標準:9. x容器，包括以下內容:

RUN /databricks/python3/bin/pip install pandas RUN /databricks/python3/bin/pip install urllib3 . exe

為datatabricksruntime /標準:8. x容器或更低，包括以下:

RUN /databricks/conda/envs/dcs-minimal/bin/pip install pandas RUN /databricks/conda/envs/dcs-minimal/bin/pip install urllib3 .使用實例

示例基本映像駐留在Docker Hub上https://hub.docker.com/u/databricksruntime．用於生成這些基礎的dockerfile在https://github.com/databricks/containers．

第二個選項。建立你自己的Docker基地

您也可以從頭開始構建您的Docker基礎。Docker映像必須滿足以下要求:

• JDK 8u191作為係統的Java路徑

• bash

• iproute2 (ubuntu iproute）

• coreutils (ubuntu coreutils）

• procps (ubuntu procps）

• sudo (ubuntu sudo）

• Ubuntu Linux

要從頭構建自己的映像，必須創建虛擬環境。還必須包含內置到Databricks集群中的包，如Python、R和Ganglia。首先，您可以使用適當的基本映像(即，databricksruntime / rbaseR或databricksruntime / pythonfor Python)，或參考示例在GitHub Dockerfiles．另一種選擇是從Databricks構建的最小映像開始databricksruntime /最小．

使用UI啟動您的集群

1. 在創建集群頁麵，指定支持Databricks容器服務的Databricks運行時版本。

2. 下高級選項,選擇碼頭工人選項卡。

   

3. 選擇使用您自己的Docker容器．

4. 在碼頭工人圖像URL字段，輸入您的自定義Docker映像。

   Docker映像URL示例:

   注冊表	標簽格式
   碼頭工人中心	<組織> / <庫>:<標記>(例如:databricksruntime /標準:最新）
   亞馬遜ECR	< aws-account-id > .dkr.ecr。<地區> .amazonaws.com/ <庫>:<標記>
   Azure容器注冊表	< your-registry-name > .azurecr.io / <存儲庫名>:<標記>

5. 選擇認證類型。

使用API啟動集群

1. 生成API令牌．

2. 使用集群API 2.0使用您的自定義Docker基礎啟動集群。

   curl -X POST -H“授權:無記名<標記>”https:// < databricks-instance > / api / 2.0 /集群/創建- d”{:“cluster_name <集群名稱>”,“num_workers”:0,:“node_type_id i3.xlarge”," docker_image ": {“url”:“最新databricksruntime /標準:”," basic_auth ": {“用戶名”:“< docker-registry-username >”,“密碼”:“< docker-registry-password >”｝}，:“spark_version 7.3.x-scala2.12”," aws_attributes ": {“可用性”:“ON_DEMAND”,:“instance_profile_arn攻擊:aws:我::< aws-account-number >: instance-profile / < iam-role-name >”｝}'

   basic_auth要求取決於您的Docker映像類型:

   • 對於公開的Docker圖像，不包括basic_auth字段。

   • 對於私有Docker映像，必須包含basic_auth字段，使用服務主體ID和密碼作為用戶名和密碼。

   • 對於Azure容器注冊表，必須設置basic_auth字段設置為服務主體的ID和密碼。看到Azure Container Registry服務主體身份驗證文檔有關創建服務主體的信息。

   • 對於Amazon ECR圖像，不包括basic_auth字段。您必須使用實例配置文件包括從映像所在的Docker存儲庫中提取Docker映像的權限。要做到這一點，請遵循使用實例配置文件設置對S3桶的安全訪問的步驟3到步驟5．

     下麵是一個IAM角色的例子，它擁有獲取任何圖像的權限。指定的存儲庫< arn-of-repository >．

     ｛“版本”：“2012-10-17”，“聲明”：［｛“效應”：“允許”，“行動”：［“ecr: GetAuthorizationToken”),“資源”：“*”}，｛“效應”：“允許”，“行動”：［“ecr: BatchCheckLayerAvailability”，“ecr: GetDownloadUrlForLayer”，“ecr: GetrepositoryPolicy”，“ecr: DescribeRepositories”，“ecr: ListImages”，“ecr: DescribeImages”，“ecr: BatchGetImage”),“資源”：［“< arn-of-repository >”］｝］｝

     如果Amazon ECR映像駐留在與Databricks集群不同的AWS帳戶中，則使用ECR庫政策之外的集群實例概要來授予Databricks集群訪問權限。下麵是一個ECR存儲庫策略的示例。集群實例配置文件所承擔的IAM角色由< arn-of-IAM-role >．

     ｛“版本”：“2012-10-17”，“聲明”：[{“席德”：“AllowCrossAccountPush”，“效應”：“允許”，“校長”：｛“AWS”：“< arn-of-IAM-role >”}，“行動”：［“ecr: BatchCheckLayerAvailability”，“ecr: BatchGetImage”，“ecr: DescribeImages”，“ecr: DescribeRepositories”，“ecr: GetDownloadUrlForLayer”，“ecr: GetrepositoryPolicy”，“ecr: ListImages”］})｝