如何正確地讀取數據庫文件(.db)火花JDBC更新後在Python中嗎?

[jomt]

我有一組數據庫文件(.db),我需要讀到Python筆記本在磚。我設法做這相當簡單直到7月當介紹了JDBC SQLite庫的更新。

到目前為止我讀過的文件的問題(修改)代碼:

”df = spark.read。格式(“jdbc”).options(url =“< url >”,

數據表= “<表>” ,

司機= “org.sqlite.JDBC” ) .load ()的

然而,更新數據後,正在讀是完全錯誤的(如數字列與非負數字,突然間包含一些負數的實際價值不同於文件)。

有更好的方法來讀取.db文件在新的SQLite JDBC 3.42.0.0升級?

[jomt · Accepted solution]

當表中的數據非常大(幾十億)或非常低(例如1 e15汽油),SQLite JDBC可能難以導入正確的值。為了解決這一問題,可以使用一個好主意customSchema選項來定義模式中使用高的小數範圍(或許多小數當數字很低)。

”df = spark.read。格式(“jdbc”).options(url =“< url >”,

數據表= “<表>” ,

司機= “org.sqlite.JDBC”,

customSchema = “< col1 >小數(38歲,0),< col2 >小數(38歲,0),< col3 >小數(38歲,0)”
) .load ()的