取消
顯示的結果
而不是尋找
你的意思是:

10.4 lts已經過時的雪花火花連接器,如何迫使最新雪花火花連接器

DSam05
新的因素

你好,

我試圖從scala fatjar azure-databricks,運行我的代碼連接到雪花的數據。

我通常9.1 LTS上運行我的jar。

然而當我運行在10.4 LTS性能4 x退化,在日誌中

警告SnowflakeConnectorUtils美元:查詢不支持疊加,因為您正在使用火花3.2.1連接器用來支持火花3.1。使用的版本支持的火花連接器或安裝一個版本的連接器,支持您的版本的火花。

我檢查了司機日誌和10.4 LTS似乎已經預裝版本的雪花火花連接器net.snowflake: spark-snowflake_2.12:2.9.0-spark_3.1(還提到在這裏)

盡管我已經把最新的雪花火花連接器(net.snowflake: spark-snowflake_2.13:2.10.0-spark_3.2)在我fatjar磚選擇預裝一隻。

有人遇到這個問題?知道一個解決方案。

謝謝

3回複3

Atanu
尊敬的貢獻者
尊敬的貢獻者

低DBR工作正常@Soumyajit達塔嗎?

Kaniz
社區經理
社區經理

嗨@Soumyajit達塔,我們一直沒有收到你最後的回應@Atanu Sarkar,我檢查是否你有一個決議。如果你有任何解決方案,請與社區分享,因為它可以幫助別人。否則,我們將與更多的細節和試圖幫助回應。

slavat
新的貢獻者二世

我也遇到過類似的問題。這是我的日誌文件的一個片段:

22/12/18 09:36:28警告SnowflakeConnectorUtils美元:查詢疊加不支持,因為您正在使用火花3.2.0連接器用來支持火花3.1。使用的版本支持的火花連接器或安裝一個版本的連接器,支持您的版本的火花。22/12/18 09:36:29信息SparkConnectorContext美元:火花連接器係統配置:{“spark_connector_version”:“2.9.0”、“spark_version”:“3.2.0”、“application_name”:“磚殼”,“scala_version”:“2.12.14”、“java_version”:“11.0.12”、“jdbc_version”:“3.13.3”、“certified_jdbc_version”:“3.13.3”、“os_name”:“Linux”,……}

不應該的versionioning雪花連接器是透明的,我(我使用了一個由磚)?

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map