如何注冊一個JDBC火花方言在Python中?

[User16765131552]

我想從一個磚表讀取。我已經使用url從磚的集群。我得到這個錯誤:

java.sql。SQLDataException(辛巴):(JDBC)(10140)錯誤將值轉換為int。

在這些語句:

jdbcConnUrl = " jdbc:火花:/ /亞行.....”testquery = " (select *從db。表3)限製“testdf = spark.read.format (jdbc)。選項(“url”, jdbcConnUrl)。選項(“數據表”,testquery)。選項(“fetchsize”、“10000”) .load () testdf.show ()

我遇到過所有Scala解決這個問題但是我使用python。我想要一個python相當於這段代碼:

進口org.apache.spark.sql.jdbc。{JdbcDialect, JdbcDialects} JdbcDialects。registerDialect(新JdbcDialect(){覆蓋def canHandle (url:字符串):布爾= url.toLowerCase.startsWith (" jdbc:火花:")覆蓋def quoteIdentifier(列:String):字符串列}=)

[KKDataEngineer]

有解決方案嗎?

[KKDataEngineer]

@Kaniz

我能夠解決這個問題

• 將此代碼添加到一個簡單的scala類對象的方法
• 包成一個JAR文件
• 現在安裝JAR文件在集群上執行JDBC代碼。
• 添加以下行代碼在執行JDBC代碼之前您pyspark代碼。這將執行從scala類,類和方法直接在您的JVM。

  spark.sparkContext._jvm。< scalaclass完全限定>。<法>

  @User16765131552@Yadu@imstwz1