司機節點的頻繁點損失導致失敗的工作當使用現貨艦隊池

[User16783853906]

使用現貨艦隊池安排工作時,司機和工人節點從現貨供應池,我們注意到工作失敗有以下例外當司機點損失。分享最佳實踐用艦隊池100%左右配置。

運行結果不可用:工作失敗與錯誤消息集群{cluster_id}運行期間終止(集群狀態信息:司機節點關閉由雲提供商。即instance_id:{即instance_id}, aws_instance_state_reason:客戶端。UserInitiatedShutdown aws_error_message:客戶端。UserInitiatedShutdown:用戶發起的年代……)

[User16826994223]

這是發生在磚嗎?

Azure磚自動處理終止點vm啟動新現收現付製工人節點保證最終將完成你的工作。這提供了可預見性,以幫助降低成本。

[User16783853906]

司機失去了在這種情況下,節點混合池分配司機的幫助下從一個池的需求。

[User16783853906 · Accepted solution]

在這種情況下,司機被AWS節點。磚開始混合池的預覽功能,將允許您提供司機節點從一個不同的池。我們建議使用按需為司機節點池改善可靠性頻繁點損失情況和工人節點可以從你的現貨供應艦隊池。支持此功能隻能通過API從今天開始。

從混合池步驟配置集群。

1。創建/池(使用現有的)需求的驅動節點可以提供。

2。在創建一個集群時,您可以提供需求池id作為“driver_instance_pool_id”集群中創建請求。

示例API請求創建一個集群,混合池

{

“num_workers”: 1、

:“cluster_name test-hybrid-create”,

:“spark_version 7.2.x-scala2.12”,

“spark_conf”: {},

" aws_attributes ": {

},

“ssh_public_keys”: [],

“custom_tags”: {},

" spark_env_vars ": {

:“PYSPARK_PYTHON /磚/ python3 / bin / python3”

},

“autotermination_minutes”: 120年,

“init_scripts”: [],

“instance_pool_id”:“1109 - 172550 - mimic2池工作者”,

“driver_instance_pool_id”:“1109 - 172516 - retch1池司機”

}

假設和限製,

*創建混合池集群通過API目前僅支持。

*我們建議測試這個功能,看看它可以幫助在你的情況中使用前在生產場景。