不能拚花INT64類型轉換為雙光子類型

[auser85]

我試圖通過複製到命令讀取的文件但是我最近得到這個錯誤數據的某些子集;

當閱讀文件時發生錯誤:模式轉換錯誤:不能拚花INT64類型轉換成光子型雙”

這些是我的選項;我試過mergeSchema和overwriteSchema的混合物

我可以做些什麼來讓這個更可靠?

FILEFORMAT =拚花FORMAT_OPTIONS (' overwriteSchema ' = '真的')COPY_OPTIONS (“overwriteSchema”=“真實”,“覆蓋”=“真正的”)

[Aviral-Bhardwaj]

嘿@Andrew Fogarty

我也麵臨同樣的問題,當我從7.3 LTS版搬到一個更高的運行時版本因此減輕這個問題您可以使用下麵的集群配置

spark.sql。storeAssignmentPolicy遺留

spark.sql.parquet。binaryAsString真實

火花。錯誤的猜測

spark.sql.legacy。timeParserPolicy遺留

上述配置的詳細說明請使用這個文檔。這是真正有用的調試你的錯誤

火花配置鏈接-https://spark.apache.org/docs/latest/configuration.html

如果你喜歡我的回答請upvote。

謝謝

Aviral Bhardwaj

[auser85]

謝謝,會檢查出來!