取消
顯示的結果
而不是尋找
你的意思是:

推薦方式集成MongoDB流源

amichel
新的貢獻者三世

當前狀態:

  • 數據存儲在MongoDB Atlas廣泛使用的所有服務
  • 湖數據駐留在相同的AWS地區和連接MongoDB私人聯係

要求:

  • 流管道,不斷攝取,變換/分析和服務數據與最低的延遲
  • 下遊加工數據聚合和存儲在數據湖,雖然它也需要可以流到外部用戶(通過AWS MSK的可能)

問題:什麼是推薦的(可靠的)的方式攝取MongoDB地圖集作為流?

選項1:使用mongo變化流和卡夫卡和卡夫卡主題連接到代理之間mongo磚,磚,隻有了解卡夫卡的話題

選項2:直接連接到mongo使用mongo-spark連接器和看明確集合。這可能需要一些綁定通過內存隊列或類似的,可以觀察到在scala中,以及管理檢查點,等等。

任何其他想法?任何反饋這一問題實現生產感激的人。

1接受解決方案

接受的解決方案

robwma
新的貢獻者三世

另一個選擇如果你想使用火花作為攝入是使用新的火花連接器V10.0支持結構化流火花。https://www.mongodb.com/developer/languages/python/streaming-data-apache-spark-mongodb/

如果你使用卡夫卡,MongoDB連接器使用時創建了一個變更來源流在幕後,國旗,“複製。現有“先複製現有的數據然後開始的數據流。

在原帖子查看解決方案

5回複5

dbarrundiag
新的貢獻者二世

我們使用很多方法1號你上麵列出。我建議你設置一個模式注冊表和杠杆Avro,這樣的消息會卡夫卡主題Avro消息必須遵循一個模式注冊你的磚流媒體服務能夠攝取首先通過檢查模式這樣的注冊表。

robwma
新的貢獻者三世

另一個選擇如果你想使用火花作為攝入是使用新的火花連接器V10.0支持結構化流火花。https://www.mongodb.com/developer/languages/python/streaming-data-apache-spark-mongodb/

如果你使用卡夫卡,MongoDB連接器使用時創建了一個變更來源流在幕後,國旗,“複製。現有“先複製現有的數據然後開始的數據流。

Kaniz
社區經理
社區經理

嗨@Alex米歇爾,我們一直沒有收到你最後的回應社區成員,我檢查是否你有一個決議。如果你有任何解決方案,請與社區分享,因為它可以幫助別人。否則,我們將與更多的細節和試圖幫助回應。

amichel
新的貢獻者三世
你好,
最終我們達成一致的解決方案使用MongoDB Atlas元特性導出到S3和攝取文件使用磚自動裝卸機作為流。
https://www.mongodb.com/developer/products/atlas/automated-continuous-data-copying-from-mongodb-to-s..。
需要嚐試新連接器的建議。
歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map