02-22-2022上午11點
當前狀態:
要求:
問題:什麼是推薦的(可靠的)的方式攝取MongoDB地圖集作為流?
選項1:使用mongo變化流和卡夫卡和卡夫卡主題連接到代理之間mongo磚,磚,隻有了解卡夫卡的話題
選項2:直接連接到mongo使用mongo-spark連接器和看明確集合。這可能需要一些綁定通過內存隊列或類似的,可以觀察到在scala中,以及管理檢查點,等等。
任何其他想法?任何反饋這一問題實現生產感激的人。
06-21-2022我10點
另一個選擇如果你想使用火花作為攝入是使用新的火花連接器V10.0支持結構化流火花。https://www.mongodb.com/developer/languages/python/streaming-data-apache-spark-mongodb/。
如果你使用卡夫卡,MongoDB連接器使用時創建了一個變更來源流在幕後,國旗,“複製。現有“先複製現有的數據然後開始的數據流。
在原帖子查看解決方案
05-31-202206:13我
我們使用很多方法1號你上麵列出。我建議你設置一個模式注冊表和杠杆Avro,這樣的消息會卡夫卡主題Avro消息必須遵循一個模式注冊你的磚流媒體服務能夠攝取首先通過檢查模式這樣的注冊表。
07-07-202202:14我
嗨@Alex米歇爾,我們一直沒有收到你最後的回應社區成員,我檢查是否你有一個決議。如果你有任何解決方案,請與社區分享,因為它可以幫助別人。否則,我們將與更多的細節和試圖幫助回應。
07-07-202205:03我
從未顯出
加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。
點擊在這裏注冊今天,加入!
參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。