後處理的數據自動加載程序

[Eldar_Dragomir]

你能提供我一個想法我可以開始後處理的數據如何?
想象我有一個文件夾與binaryFiles adls gen2 /測試”。他們已經處理目前的管道。
我想再加工+繼續接收新數據的數據。
我必須設置,設置什麼?
我需要兩個“加載”或我可以使用一個觸發器。每批AvailableNow設置文件限製?

[Tharun-Kumar]

@Eldar_Dragomir

為了處理文檔的數據,我們必須改變檢查點目錄。這將從一開始就開始處理文件。您可以使用cloudFiles.maxFilesPerTrigger,限製數量的文件處理每micro-batch維護管道的穩定性。