團隊,
我在一個獨特的問題。我不確定我的理解是錯誤的或與火花,這是一個錯誤。
- 我正在讀一個從事件流中心(提取)
- 旋轉和聚合以上dataframe(轉換)。這是一個有水印的聚合。
- 寫聚合三角洲表APPEND模式觸發。
然而,最近發表的消息事件中心不寫三角洲即使脫落的水印。
我使用相同的eventtimestamp列在窗口和水印。
我的理解是應該插入的數據差值表後“Eventtime馬克斯”(最新消息)+水印。
這是造成數據丟失。
此外,所有事件的記憶存儲必須衝到水池前停止流標誌著優雅的關閉。
請建議。
