比較汽車加載程序文件檢測模式

自動加載程序支持兩種模式檢測新文件:目錄清單和文件通知。可以切換文件發現模式在流重啟和仍然獲得僅一次數據處理擔保。

目錄列表模式

在目錄清單模式下,自動加載程序識別新文件清單輸入目錄。目錄清單模式允許您快速啟動自動加載程序流沒有任何權限配置除了訪問雲存儲你的數據。

在磚運行時的9.1及以上,自動加載程序可以自動檢測文件是否與詞法順序到達,你的雲存儲和顯著減少所需的API調用來檢測新文件。看到自動加載程序目錄清單模式是什麼?為更多的細節。

文件通知模式

文件通知模式利用文件通知和隊列服務在你的雲基礎設施。自動裝載器可以自動建立一個事件通知服務和隊列服務訂閱文件從輸入目錄。

文件通知模式是更多的性能和可伸縮性大輸入目錄或大量的文件,但需要額外的雲的權限設置。有關更多信息,請參見自動加載程序文件通知模式是什麼?

雲存儲支持的模式

下麵列出了這些模式的可用性。

如果你從外部位置或DBFS山遷移到一個聯合目錄,自動加載程序繼續提供隻有一次擔保。

雲存儲

目錄清單

增量清單

文件的通知

AWS S3

所有版本

磚運行時9.1及以上

所有版本

ADLS代

所有版本

磚運行時9.1及以上

所有版本

GCS

所有版本

磚運行時9.1及以上

磚運行時9.1及以上

Azure Blob存儲

所有版本

不支持的

所有版本

ADLS Gen1

磚運行時7.3及以上

不支持的

不支持的

DBFS

所有版本

僅供掛載點

僅供掛載點

統一目錄體積

磚運行時13.2及以上

磚運行時13.2及以上

不支持的