流作業降低了性能

流作業在同一檢查點停止和重新啟動後性能較差。

寫的阿施施

最後發布日期:2022年5月11日

問題

您有一個流作業,它的性能隨著時間的推移而下降。

您使用相同的配置和相同的源啟動一個新的流作業,它比現有作業執行得更好。

導致

舊檢查點的問題可能導致長時間運行的流作業性能下降。

如果作業間歇地從同一個檢查點停止並重新啟動,就會發生這種情況。

您可以通過檢查最新的微批偏移序列號來驗證問題。

解決方案

  • 更改檢查點目錄。
  • 避免重新啟動具有相同檢查點目錄的舊流作業。
  • 如果不能更改檢查點目錄,請增加集群容量。