動態提供分區自動裝卸機

[Soma]

我們正在用例流從azure看到很多時間在清單。

是否可以供應動態分區動態自動裝卸機嗎

[Kaniz]

你好@Soma!我的名字叫Kaniz,我這裏的技術主持人。很高興認識你,謝謝你的問題!看看你的同行在社區中有一個回答你的問題。否則我將盡快給你回電。謝謝。

[Hubert_Dudek1]

我知道痛苦與上市azure法案就我而言我觸發頻率較低,但解決了這個問題

好的選擇可以文件通知模式另外你可以設置自己的隊列和事件網格有更多的控製(雖然第一次實驗可以用自動的):

文件的通知:使用Azure事件網格和隊列存儲服務訂閱文件事件從輸入目錄。自動加載程序自動設置網格和Azure事件隊列存儲服務。文件通知模式是更多的性能和可伸縮性大輸入目錄。使用這種模式,您必須配置權限Azure事件網格和隊列存儲服務和指定

.option (“cloudFiles.useNotifications”,“真正的”)

。文件通知支持ADLS Gen2和Azure Blob存儲。

來源:https://docs.microsoft.com/en-us/azure/databricks/spark/latest/structured-streaming/auto-loader-gen2

[Soma]

你好,是的,這是長時間和計劃使用觸發一旦與高頻還將檢查事件網格但好奇為什麼火花不能有選擇以最後2小時或1小時為例基於UTC時間戳這火花會節省很多時間和配置活動

網格使用自定義觸發需要相當多的時間和精力

[jose_gonzalez]

嗨@somanath Sankaran,

我將推薦使用觸發器。AvailableNow代替trigger.once。這是文檔的鏈接https://docs.www.eheci.com/release-notes/runtime/10.1.html triggeravailablenow-for-auto-loader

會回到你原來的問題,您可以使用增量清單。分區可以被認為是詞法下令如果數據處理一天一次,包含時間戳文件路徑可以被認為是詞法。

這裏的文檔https://docs.www.eheci.com/spark/latest/structured-streaming/auto-loader-gen2.html incremental-list……