集群xxxxxxx運行期間終止。-磚- 41119

愛德華· · 9小時前

你好,

我有一個問題的自動定量集群。每次激活自動定量得到這個錯誤。有誰知道為什麼這可能嗎?

“集群xxxxxxx運行期間終止(集群狀態信息:與司機失去了通信節點。這可能發生,因為網絡錯誤或故障的實例。databricks_error_message:司機丟失)”

也不時地得到這個錯誤:

集群xxxxxx運行期間終止(集群狀態信息:設置6節點。)

Kaniz · 7小時前

嗨@Eduard,你經曆的錯誤可能是由於幾個原因:

1。* * * *與司機失去了通信節點:這個錯誤通常發生由於網絡錯誤或故障的實例。可能是司機失去連接節點由於網絡不穩定或者因為實例上運行是有問題。

2。* * * *設置6節點:這個錯誤可能發生如果有一個問題與自動定量過程。當你為工人的數量,提供一係列磚選擇適當數量的工人需要運行你的工作。你可能會看到這個錯誤在這個過程中如果有問題。

這裏有一些你可以做的事情:

•檢查網絡穩定性:網絡問題往往會導致司機節點的問題。確保你的網絡連接是穩定的和可靠的。

•檢查的健康你的實例:如果您正在使用雲實例,檢查任何問題。例如,他們可能會耗盡內存或CPU。

•檢查你的自動定量配置:確保你正確配置集群的最小和最大數量的工人。假設集群大小超過了最小數量的工人時選擇的雲提供商終止實例。在這種情況下,磚將不斷重試重新供應問題保持最小數量的工人。

•檢查你的工作量:自動定量效果最好的工作負載需求隨時間變化。如果你的工作量是高或低,你最好與固定數量的工人。