這是一個常見的誤解,增加“spark.executor。heartbeatInterval”將有助於緩解或解決心跳問題。事實上,增加spark.executor。heartbeatInterval會增加錯誤和糟糕情況的機會。
這是因為“spark.executor。heartbeatInterval”決定了區間的心跳已經發送。增加的數量將減少心跳發送和火花時司機檢查心跳每2分鍾,有更多機會失敗。
為了減輕這個問題“spark.network.timeout”可以增加。可能到300年代。spark.network.timeout設定一個很高的值是不推薦,會延遲真正的失敗。
這是一個常見的誤解,增加“spark.executor。heartbeatInterval”將有助於緩解或解決心跳問題。事實上,增加spark.executor。heartbeatInterval會增加錯誤和糟糕情況的機會。
這是因為“spark.executor。heartbeatInterval”決定了區間的心跳已經發送。增加的數量將減少心跳發送和火花時司機檢查心跳每2分鍾,有更多機會失敗。
為了減輕這個問題“spark.network.timeout”可以增加。可能到300年代。spark.network.timeout設定一個很高的值是不推薦,會延遲真正的失敗。