取消
顯示的結果
而不是尋找
你的意思是:

不能拚花INT64類型轉換為雙光子類型

auser85
新的貢獻者三世

我試圖通過複製到命令讀取的文件但是我最近得到這個錯誤數據的某些子集;

當閱讀文件時發生錯誤:模式轉換錯誤:不能拚花INT64類型轉換成光子型雙”

這些是我的選項;我試過mergeSchema和overwriteSchema的混合物

我可以做些什麼來讓這個更可靠?

FILEFORMAT =拚花FORMAT_OPTIONS (' overwriteSchema ' = '真的')COPY_OPTIONS (“overwriteSchema”=“真實”,“覆蓋”=“真正的”)

2回答2

Aviral-Bhardwaj
尊敬的貢獻者三世

嘿@Andrew Fogarty

我也麵臨同樣的問題,當我從7.3 LTS版搬到一個更高的運行時版本因此減輕這個問題您可以使用下麵的集群配置

spark.sql。storeAssignmentPolicy遺留

spark.sql.parquet。binaryAsString真實

火花。錯誤的猜測

spark.sql.legacy。timeParserPolicy遺留

上述配置的詳細說明請使用這個文檔。這是真正有用的調試你的錯誤

火花配置鏈接-https://spark.apache.org/docs/latest/configuration.html

如果你喜歡我的回答請upvote。

謝謝

Aviral Bhardwaj

auser85
新的貢獻者三世

謝謝,會檢查出來!

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map