我使用磚自動裝卸機增量加載一係列csv文件在s3,我更新一個API。我tyipcal工作過程文件每晚隻更新最新的年。但是,有些時刻,前幾年也得到更新前一年當有更新記錄。在這種情況下,我寫在那一年的CSV文件。
我遵循這個指南:
有辦法觸發自動裝卸機,前一年更新嗎?它的工作原理,當我添加一個新文件(年),自動裝卸機吸入我的湖。但是,當先前攝入文件更新相同的文件名,它似乎並沒有這樣做。我的假設是,自動裝卸機認為這個文件已經injested(通過文件名啟發式),它忽略了已經攝入。
有辦法觸發器增量通過“更新日期”或其他方法?
正在考慮開始的路徑文件通知服務(SQS / SNS)觸發injestion增量文件。
道路使用的任何幫助,我們將不勝感激。
