取消
顯示的結果
而不是尋找
你的意思是:

關閉工作的集群,當流結束

pawelmitrus
新的貢獻者三世

你好,

至於現在,我們已經知道,我們的應用程序將運行24/7流不斷地傳入的數據。流管道是非常基本的,然而現在它足以運行這個管道每天1 x(節省的成本不斷運行集群)。我想寫代碼已經流數據,而不是批量。我一直不知道怎麼檢測,對於一個給定的時間所有新文件處理和流,所以集群可以關閉。第二天工作開始時,它隻將新文件。

你能建議什麼?

謝謝,

帕維爾

1接受解決方案

接受的解決方案

User16788317018
新的貢獻者三世
1回複1

User16788317018
新的貢獻者三世

使用.trigger(一旦= True).trigger (availableNow = True)選項隻選擇新文件https://docs.www.eheci.com/structured-streaming/triggers.html configuring-incremental-batch-process……

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map