我試圖運行一個增量數據處理工作使用python。
工作計劃如每小時運行。
為我的代碼知道數據增量的過程,我將它與{{start_time}}的命令行
[" end_date = {{start_time}} ")
我注意到兩件事:
* start_time似乎是指當調度器醒來時,與時要醒來。例如,而不是通過準確的整點時間,它可以包含2 - 3秒的小時。
*當我運行工作的兩個任務運行一個接一個,他們每個人都得到不同的{{start_time}}的值。由於調度的工作水平和任務級別,和你有一個特性注入時間的工作,我看不出有什麼不同的值傳遞給每個任務。
每一個這些行為讓{{start_time}}不夠可靠的處理時間窗口的數據。
其他標準調度器氣流和完善做的通過正確的“計劃工作觸發時間”工作,和足夠可靠的處理時間窗口。
看到在這裏和在這裏。
你能分享注射的最佳實踐是什麼計劃的觸發時間可靠地工作和它的所有任務嗎?
謝謝
