“沒有SRV記錄”間歇磚Pyspark連接Mongo地圖集的運行時錯誤

[200723年]

我Mongo Atlas連接url就像mongodb + srv: / / < srv_hostname >

我不想使用直接url像mongodb: / / < hostname1、hostname2 hostname3 ....>因為我們Mongo阿特拉斯全球集群有許多主機。很難維護。

GCP雲連接到我們的java程序相同Mongo Atlas SRV沒有這個問題。我猜錯了與我們的磚或pyspark配置或驅動程序版本兼容性。請幫助。

水平:錯誤

消息異常發生:% s回溯(最近的電話):

文件<命令- 389574246471033 >》第9行,在<模塊>

如果df.count () ! = 0:

文件“/磚/ / python / pyspark / sql / dataframe火花。py”,第688行計數

返回int (self._jdf.count ())

文件“/磚/火花/ python / lib / py4j-0.10.9.1-src.zip / py4j / java_gateway。在__call__ py”, 1304行

return_value = get_return_value (

文件“/磚/火花/ python / pyspark / sql /跑龍套。py”, 117行,在裝飾

返回f(*, * *千瓦)

文件“/磚/火花/ python / lib / py4j-0.10.9.1-src.zip / py4j /協議。在get_return_value py”, 326行

提高Py4JJavaError (

py4j.protocol。Py4JJavaError:調用o468.count時發生一個錯誤。

:com.mongodb。MongoTimeoutException:超時後30000 ms在等待服務器相匹配@43eaa290 com.mongodb.client.internal.MongoClientDelegate 1美元。集群的客戶視圖狀態是{類型= REPLICA_SET srvResolutionException = com.mongodb。MongoConfigurationException:沒有SRV記錄用於_mongodb._tcp.mongo-core-coreapp-clus-pri.tpl3f.mongodb.net服務器= []

com.mongodb.internal.connection.BaseCluster.createTimeoutException (BaseCluster.java: 424)

[Kaniz]

嗨@Raymond賴,請檢查這個年代。O線程它會引導你通過一個循序漸進的過程如何連接MongoDB地圖集的磚使用pyspark集群。另外,請檢查代碼並讓我們知道是否有幫助。

[200723年]

我們的代碼已經一樣在文章中提到的一個鏈接,你有共享。

[Vidula_Khanna]

嗨@Raymond賴

希望一切都好!隻是想檢查如果你能解決你的問題,你會很高興分享解決方案或答案標記為最佳嗎?其他的請讓我們知道如果你需要更多的幫助。

我們很想聽到你的聲音。

謝謝!

[Noopur_Nigam]

嗨@Raymond賴這個問題似乎在Mongo DB連接器。連接是由mongo-spark連接器創建和維護的。你可以嚐試使用直接mongodb主機連接字符串而不是電腦,避免DNS查找或者你可以接觸到mongodb團隊的決議。