取消
顯示的結果
而不是尋找
你的意思是:

當你應該使用目錄清單和文件通知嗎

BenLambert
新的貢獻者三世

我們使用三角洲生活表運行攝入管道和遇到的兩個選項自動裝卸機“文件通知”和“目錄清單”這反映在cloudFiles.useIncrementalListing的選項。我們想知道這些的最佳實踐是使用自動裝卸機,當我們應該使用一個與其他?

1回複1

匿名
不適用

@Bennett蘭伯特:

之間的選擇使用“文件通知”和“目錄清單”自動裝卸機在三角洲住表取決於您的特定的用例和需求。這裏有一些一般準則:

  1. 使用文件通知如果你需要實時攝取:文件通知使用基於事件觸發源存儲位置檢測新文件,它允許實時攝取盡快添加新文件。
  2. 使用目錄清單,如果你需要控製攝入頻率:目錄清單定期掃描源存儲位置為新文件,它允許您控製攝入的頻率。這可能是有用的,如果你需要限製攝入的數量文件或控製攝入的時機。
  3. 使用文件通知對於小文件:文件通知對小文件更有效,因為它能避免掃描整個目錄的變化。
  4. 使用大文件目錄清單:目錄清單對大文件更有效,因為它可以減少每個文件單獨掃描和處理的開銷。

總之,如果你需要實時攝取和有大量的小文件,使用文件通知。如果你需要控製攝入頻率或有少量的大文件,使用目錄清單。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map