06-23-202102:14點
什麼時候推薦使用觸發器。一旦模式相比,固定與微批次處理的時間間隔?
06-23-202102:19點
觸發。一旦模式中,隻有一個微將執行批處理的最新數據和應用程序停止自己的一旦加工完成。這是有用的在這種情況下,你需要定期過程一切可用自上次處理過的數據。
前更多這方麵的信息,請參考https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html觸發器
06-23-202102:26點
還要注意,像maxFilesPerTrigger配置,與Trigger.Once maxBytesPerTrigger被忽略。
流查詢,大大減少吞吐量可以切換觸發。曾經為了避免連續執行工作的檢查數據的可用性。
從未顯出
加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。
點擊在這裏注冊今天,加入!
參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。