取消
顯示的結果
而不是尋找
你的意思是:

後處理的數據自動加載程序

Eldar_Dragomir
新的因素

你能提供我一個想法我可以開始後處理的數據如何?
想象我有一個文件夾與binaryFiles adls gen2 /測試”。他們已經處理目前的管道。
我想再加工+繼續接收新數據的數據。
我必須設置,設置什麼?
我需要兩個“加載”或我可以使用一個觸發器。每批AvailableNow設置文件限製?

1回複1

Tharun-Kumar
尊敬的貢獻者
尊敬的貢獻者

@Eldar_Dragomir

為了處理文檔的數據,我們必須改變檢查點目錄。這將從一開始就開始處理文件。您可以使用cloudFiles.maxFilesPerTrigger,限製數量的文件處理每micro-batch維護管道的穩定性。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map