取消
顯示的結果
而不是尋找
你的意思是:

觸發器。一旦模式建議

User16783853906
因素二世

什麼時候推薦使用觸發器。一旦模式相比,固定與微批次處理的時間間隔?

2回答2

User16783853906
因素二世

觸發。一旦模式中,隻有一個微將執行批處理的最新數據和應用程序停止自己的一旦加工完成。這是有用的在這種情況下,你需要定期過程一切可用自上次處理過的數據。

前更多這方麵的信息,請參考https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html觸發器

User16869510359
尊敬的貢獻者

還要注意,像maxFilesPerTrigger配置,與Trigger.Once maxBytesPerTrigger被忽略。

流查詢,大大減少吞吐量可以切換觸發。曾經為了避免連續執行工作的檢查數據的可用性。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map