我想讀一些三角洲磚(蜂巢metastore)的sql數據端點使用pyspark,雖然這樣做後,我遇到的所有表的值取相同列名。
甚至當我試圖展示它給了我錯誤的數據如果列類型不是字符串。
錯誤:
org.apache.spark。SparkException:工作階段失敗而終止:任務0階段13.0失敗了4次,最近的失敗:在舞台上失去了任務0.3 13.0 (TID 34)(10.139.64.4執行人司機):java.sql。(JDBC) SQLDataException(磚):將值轉換為BigDecimal(10140)錯誤。
jdbc_url = " jdbc:磚:/ / XXXX: 443 /違約;運輸方式= http; ssl = 1; httpPath = XXXX;密碼= <拍牌> " table_name =“XXXX”df = spark.read.format (jdbc) \ .option (“url”, jdbc_url) \ .option(“數據表”,table_name) \ .option(“司機”,“com.databricks.client.jdbc.Driver”) \ .load () df.printSchema輸出()> > > > > > > > > > > >根|——描述:字符串(nullable = true) |——卷:雙(nullable = true) df.show () > > > > > > > > > > > > org.apache.spark輸出。SparkException:工作階段失敗而終止:任務0階段0.0失敗了4次,最近的失敗:在舞台上失去了任務0.3 0.0 (TID 3)(10.139.64.4執行人司機):java.sql。(JDBC) SQLDataException(磚):將值轉換為雙(10140)錯誤。df.select(“描述”)。虛假的表演(10日)輸出> > > > > > > > > > > > + - - - - - - - - - - - - + | | +描述- - - - - - - - - - - - | + |描述描述| | | |描述描述| | |描述| | |描述描述| | | |描述描述| | | | +描述- - - - - - - - - - - - +隻顯示前十行
注意:東西保存工作文件,如果我使用“sql。使用“連接”和消費數據指針”。
但在火花JDBC康涅狄格州,我麵臨這個問題。有人能幫我嗎?
