mongodb——mongo-spark-connector_2.12:10.1.1火花連接器

[匿名]

你好,

我´ve庫添加到集群,它出現在火花UI所添加的用戶

火花:/ / 10.139.64.4:43001 /罐/ addedfile307892533757162075org_mongodb_spark_mongo_spark_connector_2_12_10_1_1 - 98946。jarAdded由用戶

我試圖連接使用以下SparkSession配置,但它不工作:

火花= (SparkSession.builder.config (spark.mongodb.input.uri, connectionString) . config (spark.jars。包”、“org.mongodb.spark: mongo-spark-connector_2.12:10.1.1”) .getOrCreate ())

如果我這個庫卸載並安裝上一個,2.12:3.0.1,連接工作。

有人能幫我嗎?

謝謝

[匿名]

它看起來像你想連接MongoDB使用mongo-spark-connector_2.12:10.1.1庫,但你正麵臨的問題連接。這裏有幾件事你可以嚐試解決這個問題:

1. 仔細檢查連接字符串:確保您正在使用的連接字符串是正確的,正確的格式。您可以驗證通過連接MongoDB直接使用mongo shell或MongoDB客戶機。
2. 檢查火花日誌:尋找任何火花日誌中的錯誤消息。這可能會給你一些線索。您可以訪問的日誌引發UI或通過運行下麵的命令:

org.apache.spark.examples SPARK_HOME美元/ bin / spark-submit——類。火花Pi --master yarn --deploy-mode client --driver-memory 4g --executor-memory 2g --executor-cores 1 --num-executors 2 --conf spark.eventLog.enabled=true --conf spark.eventLog.dir=hdfs:///spark-history --conf spark.history.fs.logDirectory=hdfs:///spark-history --jars /path/to/mongo-spark-connector_2.12-10.1.1.jar /path/to/your/application.jar

3)試著不同版本的庫:如果上述兩個步驟不工作,你可以嚐試使用不同版本的mongo-spark-connector圖書館。你可以在這裏找到可用版本的列表:https://mvnrepository.com/artifact/org.mongodb.spark/mongo-spark-connector_2.12

4)檢查與MongoDB服務器版本的兼容性:確保mongo-spark-connector庫您正在使用的版本是兼容的版本使用MongoDB服務器。你可以檢查兼容性矩陣:https://docs.mongodb.com/spark-connector/master/兼容性矩陣

我希望這些建議可以幫助你解決問題。

[silvadev]

在版本10。x (MongoDB火花連接器已經改變一些配置選項。

現在你必須通過spark.mongodb.read.connection.uri而不是spark.mongodb.input.uri。

簽出新的其他選項讀配置選項,MongoDB火花連接器。

[DmytroSokhach]

我什麼都麵臨類似的問題上麵org.mongodb.spark: mongo-spark-connector_2.12:3.0.1
所以版本10 +org.mongodb.spark: mongo-spark-connector_2.12https://mvnrepository.com/artifact/org.mongodb.spark/mongo-spark-connector_2.12是不工作與磚12.2 LTS

org.apache.spark。火花ClassNotFoundException: [DATA_SOURCE_NOT_FOUND] Failed to find data source: mongo. Please find packages at `https://spark.apache.org/third-party-projects.html`.

有什麼應該做另外安裝到圖書館嗎?也許一些額外的集群選擇嗎?