當前狀態:
- 數據存儲在MongoDB Atlas廣泛使用的所有服務
- 湖數據駐留在相同的AWS地區和連接MongoDB私人聯係
要求:
- 流管道,不斷攝取,變換/分析和服務數據與最低的延遲
- 下遊加工數據聚合和存儲在數據湖,雖然它也需要可以流到外部用戶(通過AWS MSK的可能)
問題:什麼是推薦的(可靠的)的方式攝取MongoDB地圖集作為流?
選項1:使用mongo變化流和卡夫卡和卡夫卡主題連接到代理之間mongo磚,磚,隻有了解卡夫卡的話題
選項2:直接連接到mongo使用mongo-spark連接器和看明確集合。這可能需要一些綁定通過內存隊列或類似的,可以觀察到在scala中,以及管理檢查點,等等。
任何其他想法?任何反饋這一問題實現生產感激的人。
