嗨社區
我有一個自動裝卸機管道與配置。不幸的是,它並沒有發現所有文件。查詢(見下文定義)。
38.246需要讀文件的文件夾,所有有相同的模式和結構。
如果我看‘cloud_files_state’,我看得到4999文件。我做錯了什麼嗎?這是一個“初始”計算,將會增加如果攝取這些文件?
嗨@Fabrice Deseyn,我的理解是,這可能是因為自動裝卸機返回一個固定的沒有。每個API調用的結果作為解釋:https://docs.www.eheci.com/ingestion/auto-loader/directory-listing-mode.html how-does-directory-lis……
@Fabrice Deseyn
它看起來像你的存儲不準備增量清單。使用普通的所有文件目錄清單。
https://docs.www.eheci.com/ingestion/auto-loader/directory-listing-mode.html date-partitioned-files
@Daniel薩哈
謝謝,很顯然我看著useIncrementalListing設置…大錯誤從我身邊…
謝謝你的第二次一雙眼睛!