為什麼我總是看到“遺囑執行人心跳超時”的消息引發司機日誌

[User16869510359]

通常,我看到“遺囑執行人心跳超時”的消息引發司機日誌。有時工作與這個錯誤失敗。

將增加“spark.executor。heartbeatInterval“幫助緩解這個問題呢?

[User16869510359 · Accepted solution]

這是一個常見的誤解,增加“spark.executor。heartbeatInterval”將有助於緩解或解決心跳問題。事實上,增加spark.executor。heartbeatInterval會增加錯誤和糟糕情況的機會。

這是因為“spark.executor。heartbeatInterval”決定了區間的心跳已經發送。增加的數量將減少心跳發送和火花時司機檢查心跳每2分鍾,有更多機會失敗。

為了減輕這個問題“spark.network.timeout”可以增加。可能到300年代。spark.network.timeout設定一個很高的值是不推薦,會延遲真正的失敗。