推薦方式集成MongoDB流源

[amichel]

當前狀態:

• 數據存儲在MongoDB Atlas廣泛使用的所有服務
• 湖數據駐留在相同的AWS地區和連接MongoDB私人聯係

要求:

• 流管道,不斷攝取,變換/分析和服務數據與最低的延遲
• 下遊加工數據聚合和存儲在數據湖,雖然它也需要可以流到外部用戶(通過AWS MSK的可能)

問題:什麼是推薦的(可靠的)的方式攝取MongoDB地圖集作為流?

選項1:使用mongo變化流和卡夫卡和卡夫卡主題連接到代理之間mongo磚,磚,隻有了解卡夫卡的話題

選項2:直接連接到mongo使用mongo-spark連接器和看明確集合。這可能需要一些綁定通過內存隊列或類似的,可以觀察到在scala中,以及管理檢查點,等等。

任何其他想法?任何反饋這一問題實現生產感激的人。

[dbarrundiag]

我們使用很多方法1號你上麵列出。我建議你設置一個模式注冊表和杠杆Avro,這樣的消息會卡夫卡主題Avro消息必須遵循一個模式注冊你的磚流媒體服務能夠攝取首先通過檢查模式這樣的注冊表。

[robwma · Accepted solution]

另一個選擇如果你想使用火花作為攝入是使用新的火花連接器V10.0支持結構化流火花。https://www.mongodb.com/developer/languages/python/streaming-data-apache-spark-mongodb/。

如果你使用卡夫卡,MongoDB連接器使用時創建了一個變更來源流在幕後,國旗,“複製。現有“先複製現有的數據然後開始的數據流。

[Kaniz]

嗨@Alex米歇爾,我們一直沒有收到你最後的回應社區成員,我檢查是否你有一個決議。如果你有任何解決方案,請與社區分享,因為它可以幫助別人。否則,我們將與更多的細節和試圖幫助回應。

[amichel]

你好,
最終我們達成一致的解決方案使用MongoDB Atlas元特性導出到S3和攝取文件使用磚自動裝卸機作為流。
https://www.mongodb.com/developer/products/atlas/automated-continuous-data-copying-from-mongodb-to-s..。
需要嚐試新連接器的建議。