設置正確的processingTime

[奧吉]

如何設置合適的processingTime readStream最大化性能?基於因素視情況而定,有一種方法來衡量呢?

[ajaypanday6781]

當你指定一個觸發間隔太小了(不到幾十秒),係統可以進行不必要的檢查,看看新數據到來。配置您的處理時間來平衡延遲需求和數據到達率。

沒有具體的測量這因為它完全取決於你的用例。

[NandiniN]

參考文檔,https://docs.www.eheci.com/structured-streaming/triggers.html

[Vidula_Khanna]

嗨@Ognjen Grubac

謝謝你發布你的問題在我們的社區!我們很高興幫助你。

幫助我們為您提供最準確的信息,請您花一些時間來回顧反應和選擇一個最好的回答了你的問題嗎?

這也將有助於其他社區成員可能也有類似的問題在未來。謝謝你的參與,讓我們知道如果你需要任何進一步的援助!

[奧吉]

對你的答案@Ajay Pandey, @Nandini N表示感謝。我想知道更多關於我應該做些什麼為了做正確。我應該改變處理時間(1、5、10、30、60秒),看看它如何影響運行工作的時間和CPU /內存使用?還是有一個很好的方式去做?