與磚JDBC連接的問題:箭頭反序列化數據時發生錯誤

[tz1]

我有一個這樣的Java程序來測試出磚的JDBC連接磚JDBC驅動程序。

連接連接=零;嚐試{forname(司機);連接= DriverManager。getConnection (url、用戶名、密碼);如果(連接! = null) {system . out。println(建立“連接”);}{system . out。println(“連接失敗”);}= connection.createStatement聲明聲明();ResultSet rs =聲明。executeQuery (“select * from standard_info_service.daily_transactions”); while (rs.next()) { System.out.print("created_date: " + rs.getInt("created_date") + ", "); System.out.println("daily_transactions: " + rs.getInt("daily_transactions")); } } catch (Exception e) { System.out.println(e); }

然而,這個程序拋出一個錯誤:

連接建立警告:sun.reflect.Reflection。不支持getCallerClass。這將影響性能。java.sql。SQLException異常(辛巴):[SparkJDBCDriver](500618)錯誤發生而反序列化箭頭數據:sun.misc。安全或java.nio.DirectByteBuffer。< init >(長,int)

解決方案是什麼呢?

[Kaniz]

嗨@Tony周,提到的醫生。

Scala火花運行在Java 8/11, 2.12/2.13, Python 3.6 +和+ 3.5 R。

Python 3.6支持火花3.2.0棄用。Java 8 version 8之前u201支持火花3.2.0棄用。

Scala API,引發3.2.1之上使用Scala 2.12。

您將需要使用一個兼容的Scala版本(2.12.x)。

注意:-

對於Python 3.9,箭頭優化和熊貓udf由於支持Python版本可能並不適用於Apache箭頭。

請參考最新的Python的兼容性頁麵。

Java 11日-Dio.netty.tryReflectionSetAccessible = true需要另外為Apache箭頭圖書館。

這可以防止. lang。UnsupportedOperationException:方式sun.misc。安全或java.nio.DirectByteBuffer。(長,int)不能使用Apache內部使用網狀的箭頭。

[jose_gonzalez]

嗨@Tony周,

隻是一個友好的後續。做@Kaniz開羅的反應幫助你解決這個問題?如果不是,請分享更多的細節,如完整的錯誤堆棧跟蹤和一些代碼片段。

[Alice__Caterpil · Accepted solution]

嗨@Jose岡薩雷斯,

這類似的問題在JDBC的雪花就是一個很好的參考,我能夠得到這個工作在Java OpenJDK 17日通過該JVM選項指定:

——add-opens = java.base / nio = ALL-UNNAMED

雖然我遇到的另一個問題使用apache DHCP SQL端點連接到數據磚:

引起的:java.sql。SQLFeatureNotSupportedException(辛巴):(JDBC)(10220)驅動程序不支持這個可選特性。

在com.simba.spark.exceptions.ExceptionConverter。toSQLException(未知來源)

com.simba.spark.jdbc.common.SConnection.setAutoCommit(未知源)

在com.simba.spark.jdbc.jdbc42.DSS42Connection。setAutoCommit(未知來源)

org.apache.commons.dbcp2.DelegatingConnection.setAutoCommit (DelegatingConnection.java: 801)

org.apache.commons.dbcp2.DelegatingConnection.setAutoCommit (DelegatingConnection.java: 801)

同樣的問題發生在我“光之輪”轉向。

最後,我明白了工作僅使用基本數據源和自動提交設置為False。BasicDataSource不適合生產,會有一個新的司機釋放,能更好地處理這個問題嗎?

[AmeyJoshi]

非常感謝@Alice掛你的建議。我真的感激你分享它。可用的其他地方完全沒有幫助。

[Kaniz]

嗨@Amey Joshi,高興地知道,它幫助你能解決它。你想馬克@Alice掛的答案是最好的答案嗎?