創建一個現貨隻有單節點計算集群政策的工作

[卡什]

你好,

我需要一些幫助創建一個新的集群政策,利用單個spot-instnace服務器來完成工作。我想把這作為job-compute降低成本,利用1點實例。

的工作我需要ETL非常短,在幾分鍾內完成,我不認為這是明智的花2 DBU的東西當1 DBU就足夠了。

提前感謝您的幫助!

K

[Hubert_Dudek1]

下麵是所需的政策。現貨情況下您需要定義在池內,這就是為什麼我包括參考下麵池。

{" cluster_type ":{“類型”:“固定”,“價值”:“工作”},“spark_conf.spark.databricks.cluster。配置文件”:{“類型”:“固定”,“價值”:“singleNode”,“隱藏”:真正的},“instance_pool_id ":{“類型”:“固定”,“價值”:“singleNodePoolId1”,“隱藏”:真正的},“num_workers”:{“類型”:“範圍”,“執行”:0}}

[卡什]

你好,

謝謝你的快速回複。我想創建一個政策不是一個遊泳池,但任何工作的工作流程。

這是我玩的現行政策。請讓我知道如果你看到,這是。

{" spark_conf.spark.databricks.cluster。簡介”:{“類型”:“固定”,“價值”:“singleNode”,“隱藏”:真正的},“spark_version ":{“類型”:“無限”、“defaultValue”:“汽車:latest-lts”},“enable_elastic_disk ":{“類型”:“固定”,“價值”:真的,“隱藏”:真正的},“node_type_id”:{“類型”:“無限”、“defaultValue”:“i3。超大”、“isOptional”:真正的},“num_workers ":{“類型”:“固定”,“價值”:0,“隱藏”:真正的},“aws_attributes。可用性”:{“類型”:“固定”,“價值”:“現貨”,“隱藏”:真正的},“aws_attributes。zone_id”:{“類型”:“無限”、“defaultValue”:“汽車”,“隱藏”:真正的},“aws_attributes。spot_bid_price_percent”:{“類型”:“固定”,“價值”:100年,“隱藏”:真正的},“instance_pool_id ":{“類型”:“禁止”,“隱藏”:真正的},“driver_instance_pool_id ":{“類型”:“禁止”,“隱藏”:真正的},“cluster_type”:{“類型”:“固定”,“價值”:“工作”}}

注:當我把你的代碼複製到政策製定者說singleNodePoolId1並不存在。

[Hubert_Dudek1]

這是工作的政策,但如果你想使用現貨實例首先,您需要創建一個與現貨實例池。singleNodePoolId1僅僅是一個例子的名字。創建一個池1機,名字如何,把你的名字在JSON。

[jose_gonzalez]

嗨@Avkash假名,

隻是一個友好的後續。做任何反應幫助你解決你的問題嗎?如果是,請其標記為最好。否則,請讓我們知道如果你還需要幫助。