取消
顯示的結果
而不是尋找
你的意思是:

自動裝卸機配置文件通知生產模式

Chris_Konsur
新的貢獻者三世

我代標準配置ADLS存儲和成功地配置了自動裝卸機文件通知模式。

在本文檔中

https://docs.www.eheci.com/ingestion/auto-loader/file-notification-mode.html

“ADLS Gen2提供了不同的事件通知文件出現在您的代容器。

自動加載程序監聽FlushWithClose事件處理一個文件。

我需要做什麼呢FlushWithClose事件或自動裝卸機

當配置文件通知模式= True,自動地聽REST API FlushWithClose事件?

接下來,在同一文檔中,磚建議觸發自動加載程序通過使用常規回填cloudFiles.backfillInterval選擇保證所有文件被發現在一個給定的SLA是否需要數據完整性。觸發普通回填不會引起重複。

從<https://docs.www.eheci.com/ingestion/auto-loader/file-notification-mode.html>

最後,我發現了這篇文章如何使用自動加載程序資源經理Scala API

https://www.mssqltips.com/sqlservertip/6965/databricks-auto-loader-manager/

你知道這個資源經理可以在Python中?

1接受解決方案

接受的解決方案

Ryan_Chynoweth
尊敬的貢獻者三世

嗨,@Chris Konsur。

你不需要任何FlushWithClose事件REST API隻是我們聽的事件類型。

至於回填設置,這是後期處理數據或事件被觸發。這個設置在很大程度上取決於你的sla。設置決定多久你應該做一個完整的和解的數據處理。我也推薦檢查我們增量文件清單。

資源管理器,我不相信有一個Python版本。

在原帖子查看解決方案

3回複3

Kaniz
社區經理
社區經理

嗨@Chris Konsur,都有一個線程與類似的問題在我們的社會https://community.www.eheci.com/s/feed/0D58Y00009MHGcQSAX

請檢查一下並讓我們知道如果不幫助。

Ryan_Chynoweth
尊敬的貢獻者三世

嗨,@Chris Konsur。

你不需要任何FlushWithClose事件REST API隻是我們聽的事件類型。

至於回填設置,這是後期處理數據或事件被觸發。這個設置在很大程度上取決於你的sla。設置決定多久你應該做一個完整的和解的數據處理。我也推薦檢查我們增量文件清單。

資源管理器,我不相信有一個Python版本。

好的,謝謝你,瑞恩!

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map