為什麼我的單節點集群自動調整num_workers ?

[JonD]

嗨,社區,

我們有設置一個磚集群作為單獨的節點與num_workers = 0。有時集群自動調整大小,例如10名員工。當我編輯集群後來它給了一個錯誤,不允許num_workers為單節點集群,如果我刪除10名員工,設置和錯誤將會消失。這看起來像是一個錯誤嗎?什麼可能導致這種奇怪的行為?

我們的集群定義如下:

{“num_workers”: 0,“cluster_name”:“SingleNode-test”、“spark_version”:“11.3.x-scala2.12”、“spark_conf”:{“火花。主”:“當地[*]”、“spark.databricks.cluster。概要”:“singleNode”、“spark.databricks.delta.preview.enabled”:“真正的”},“azure_attributes ": {“first_on_demand”: 1、“可用性”:“ON_DEMAND_AZURE”、“spot_bid_max_price”: 1},“node_type_id”:“Standard_DS3_v2”、“driver_node_type_id”:“Standard_DS3_v2”、“ssh_public_keys”: [],“custom_tags ": {“ResourceClass”:“singleNode”},“spark_env_vars ": {},“autotermination_minutes”: 90年,“enable_elastic_disk”:真的,”cluster_source”:“用戶界麵”、“init_scripts”: [],“enable_local_disk_encryption”:假的,”cluster_id ": " <刪除> "}

[匿名]

@Jon女:你正在經曆的行為集群自動調整增加工作節點,即使它被定義為單個節點集群與“num_workers”: 0,是意想不到的,可能是一個錯誤的磚。

進一步調查這個問題,你可以試著檢查集群的日誌,看看是否有任何錯誤或警告相關自動調整。

[Vidula_Khanna]

嗨@Jon女

希望一切進行得很順利。

隻是想檢查如果你能解決你的問題。如果是的,你會很高興的答案標記為最好,其他成員可以找到解決方案更快嗎?如果不是,請告訴我們,我們可以幫助你。

幹杯!

[JonD · Accepted solution]

我認為這個問題已經解決了,至少它沒有發生在上個月。我們監控通過Azure日誌分析。也許是解決由於一些補丁/更新,謝謝!