嘿@Andrew Fogarty
我也麵臨同樣的問題,當我從7.3 LTS版搬到一個更高的運行時版本因此減輕這個問題您可以使用下麵的集群配置
spark.sql。storeAssignmentPolicy遺留
spark.sql.parquet。binaryAsString真實
火花。錯誤的猜測
spark.sql.legacy。timeParserPolicy遺留
上述配置的詳細說明請使用這個文檔。這是真正有用的調試你的錯誤
火花配置鏈接-https://spark.apache.org/docs/latest/configuration.html
如果你喜歡我的回答請upvote。
謝謝
Aviral Bhardwaj