你可以嚐試自動加載程序:自動檢測新文件的加載程序支持兩種模式:目錄清單和文件通知。
目錄清單:自動加載程序識別新文件清單輸入目錄。目錄清單模式允許您快速啟動自動加載程序流沒有任何權限配置除了訪問雲存儲你的數據。在磚運行時的9.1及以上,自動加載程序可以自動檢測文件是否與詞法順序到達,你的雲存儲和顯著降低API調用的數量需要檢測新文件。
文件通知:自動裝載器可以自動建立一個事件通知服務和隊列服務訂閱文件從輸入目錄。文件通知模式是更多的性能和可伸縮性大輸入目錄或大量的文件,但需要額外的雲權限設置。
請參考,https://learn.microsoft.com/en-us/azure/databricks/spark/latest/structured-streaming/auto-loader
你可以嚐試自動加載程序:自動檢測新文件的加載程序支持兩種模式:目錄清單和文件通知。
目錄清單:自動加載程序識別新文件清單輸入目錄。目錄清單模式允許您快速啟動自動加載程序流沒有任何權限配置除了訪問雲存儲你的數據。在磚運行時的9.1及以上,自動加載程序可以自動檢測文件是否與詞法順序到達,你的雲存儲和顯著降低API調用的數量需要檢測新文件。
文件通知:自動裝載器可以自動建立一個事件通知服務和隊列服務訂閱文件從輸入目錄。文件通知模式是更多的性能和可伸縮性大輸入目錄或大量的文件,但需要額外的雲權限設置。
請參考,https://learn.microsoft.com/en-us/azure/databricks/spark/latest/structured-streaming/auto-loader