取消
顯示的結果
而不是尋找
你的意思是:

什麼自動裝卸機cloudfiles。backfillInterval做什麼?

FabriceDeseyn
貢獻者

我使用自動裝卸機目錄清單模式(沒有增量文件清單),有時,新文件不是cloud_files-listing拾起,發現。

我發現使用“cloudfiles。backfillInterval選項可以解決文件的檢測,因此在我看來,這是一個沒有效果——100%的保證文件通知係統。

現在我想知道cloudfiles選項”。backfillInterval會照我找到的文檔模糊。

將“cloudfiles.backfillInterval”:

  • 驗算cloud_files-listing每間隔,隻有處理新文件
  • 或驗算cloud_files-listing每間隔和處理所有文件嗎?

PS:當看著cloud_files-listing我得不到任何discovery_times,我認為這些隻是相關文件通知模式?

圖像

1接受解決方案

接受的解決方案

Lakshay
尊敬的貢獻者三世
尊敬的貢獻者三世

嗨@Fabrice Deseyn, backFillInterval選項是確保最終得到的所有文件處理。回填不工作在新文件。處理所有的新文件按照你的配置清單或目錄的文件通知模式。由於沒有100%的保證所有文件會被處理,回填過程運行異步撿起任何未處理的舊文件。使用backFillinterval,您可以控製如何將舊文件處理。

我也建議使用文件通知模式或增量清單為更好的性能。

在原帖子查看解決方案

3回複3

Lakshay
尊敬的貢獻者三世
尊敬的貢獻者三世

嗨@Fabrice Deseyn, backFillInterval選項是確保最終得到的所有文件處理。回填不工作在新文件。處理所有的新文件按照你的配置清單或目錄的文件通知模式。由於沒有100%的保證所有文件會被處理,回填過程運行異步撿起任何未處理的舊文件。使用backFillinterval,您可以控製如何將舊文件處理。

我也建議使用文件通知模式或增量清單為更好的性能。

嗨@Lakshay戈埃爾,

為了確保我正確理解你的回答(請參見下麵的代碼片段):

由於沒有100%的保證所有文件會被處理,回填過程異步運行拿起任何未處理的舊文件。使用backFillinterval,您可以控製舊文件將被處理。

隻有舊文件沒有處理將被處理?

Lakshay
尊敬的貢獻者三世
尊敬的貢獻者三世

是的,這是正確的

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map