我使用一個物聯網使用結構化流流與成千上萬的不同信號。在處理流,我需要知道前麵的時間戳和價值為每個信號在微觀批處理。最終信號流寫入一個三角洲表。每個信號將發送每小時至少一次。
有可能利用內部狀態存儲作為緩存來存儲這個自定義狀態之前的時間戳和價值為每個信號?
如果不是,什麼是規範化方法來維持這樣一個狀態?
這是我能想到的方法。
方法1:
流與目標表上執行一個連接本身得到前麵的信號時間戳和價值。
方法2:
維護一個單獨的“狀態表”包含前麵的時間戳和價值為每個信號。“狀態表”將與前流的信號時間戳和價值。
在收到新的信號值,將會更新狀態表的使用合並。
