你好,
我試圖從scala fatjar azure-databricks,運行我的代碼連接到雪花的數據。
我通常9.1 LTS上運行我的jar。
然而當我運行在10.4 LTS性能4 x退化,在日誌中
警告SnowflakeConnectorUtils美元:查詢不支持疊加,因為您正在使用火花3.2.1連接器用來支持火花3.1。使用的版本支持的火花連接器或安裝一個版本的連接器,支持您的版本的火花。
我檢查了司機日誌和10.4 LTS似乎已經預裝版本的雪花火花連接器net.snowflake: spark-snowflake_2.12:2.9.0-spark_3.1(還提到在這裏)
盡管我已經把最新的雪花火花連接器(net.snowflake: spark-snowflake_2.13:2.10.0-spark_3.2)在我fatjar磚選擇預裝一隻。
有人遇到這個問題?知道一個解決方案。
謝謝
我也遇到過類似的問題。這是我的日誌文件的一個片段:
22/12/18 09:36:28警告SnowflakeConnectorUtils美元:查詢疊加不支持,因為您正在使用火花3.2.0連接器用來支持火花3.1。使用的版本支持的火花連接器或安裝一個版本的連接器,支持您的版本的火花。22/12/18 09:36:29信息SparkConnectorContext美元:火花連接器係統配置:{“spark_connector_version”:“2.9.0”、“spark_version”:“3.2.0”、“application_name”:“磚殼”,“scala_version”:“2.12.14”、“java_version”:“11.0.12”、“jdbc_version”:“3.13.3”、“certified_jdbc_version”:“3.13.3”、“os_name”:“Linux”,……}
不應該的versionioning雪花連接器是透明的,我(我使用了一個由磚)?