取消
顯示的結果
而不是尋找
你的意思是:

結構化流三角洲表——閱讀和寫作從相同的表

sparkrookie
新的因素

我有一個結構化流讀取的工作從一個表“a”和推到另一個δ表“B”。

模式——group_key id、時間戳值
B模式——group_key watermark_timestamp derived_value

一個需求是,我需要從“B”馬克斯watermark_timestamp每組(group_key),然後加入隻與“A”來過濾這些信息為每個組每組比> watermark_timestamp。處理這些數據和更新狀態後,我需要這些消息的最大時間戳和附加B watermark_timestamp字段為每個組。除此之外,我將把一些額外的數據在derived_value列使用下遊。

基本上上麵確保已經處理過的數據不再次進入流。

問題是我閱讀從同一表我寫作。當我執行這個工作不成功,當我把B放在水槽。當我改變B說那錢到一個不同的表。

我試著一切。我試著收集B馬克斯組數據流甚至開始前。仍然不工作,

有什麼解決方案嗎?請別人幫助。

另外一般來說如果我有一個要求,我需要緩衝數據數日,我不想把所有的東西都在內存中,水印應用於任意狀態處理然後過濾器。什麼最好的方法來解決這個問題。我想使用SQL查詢是什麼我的上麵。

2回答2

KarenGalvez
新的因素

導航錯綜複雜的結構化流和δ表操作在同一平台一直是刺激而要求的任務。Beplay体育安卓版本社區在澄清細微差別的磚很有幫助的。當我深入調查,我提醒的幫助護理論文——就像專家指導提高我的寫作,社區的見解讓我的數據工程的旅程。感謝協作知識共享!beplay娱乐ios

謝謝。你能點我的線程/鏈接提供了一種解決方案。我已經封鎖了很長一段時間,這將真正幫助。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map