的最好方法是運行一個磚從AWSλ筆記本嗎?

[AmanSehgal]

我在λ觸發器被觸發時,一個新文件在S3中到達。我想要馬上處理這個文件使用一個筆記本向三角洲表插入的所有數據。

我在尋找一個解決方案以最小的延遲。

[RKNutalapati]

嗨@Aman Sehgal:我不確定如果你已經探索磚自動裝卸機和限製你的用例。否則你可以嚐試使用自動裝卸機,避免多個進程。

[AmanSehgal]

我使用自動裝卸機. .和它的工作原理就像一個魅力. .

但是我不確定什麼應該觸發處理時間的間隔。

我想隻觸發一次,當文件到達S3,λ將觸發處理文件的筆記本。

的是,文件到達5每分鍾或者每隔3個小時. .頻率沒有設置. .

但每當文件到達,應該處理最小延遲。

[werners1]

基本上你正在尋找一個基於事件的觸發,在事件的到來一個新文件。

它´s是一段時間以來我在AWS但´t膠有這樣的功能嗎?

在Azure我做同樣的事情:當文件到達一定的位置,一個數據管道開始包含dbrx筆記本。

如果你想要最小的延遲,我建議你使用一個池與活躍的工人,但這是要付出代價的離岸金融中心。

[Hubert_Dudek1 · Accepted solution]

有兩種可能的解決方案:

• 自動裝卸機/ cloudfiles,更好的與“文件通知”隊列,以避免不必要的掃描,

或

• λ發送post請求/ api / 2.1 /工作/運行

另外在兩個解決方案是很重要的擁有私人鏈接和訪問通過角色(跳過驗證)。

在第一個另外S3必須安裝在磚。先還可以使用優勢的火花並行作為多個虛擬機將在同一時間讀和寫。

第二如果沒有任何延遲觸發S3, AWSλ將比執行運行更快但是筆記本通過API會慢,因為它可以花費幾十秒運行工作。

我將去autloader每小時如果有很多文件。

如果是1文件每小時或更少的與工作我就去觸發通過REST API。