在JSON中檢測編碼失敗

了解如何解決在使用Databricks的BOM時無法檢測輸入JSON文件編碼的問題。

寫的亞當Pavlacka

最後發布日期:2022年6月1日

問題

Spark作業失敗,異常包含以下消息:

無效的UTF-32字符0x1414141(高於10ffff)在字符#1,字節#7)在org.apache.spark.sql.catalyst.json

導致

JSON數據源閱讀器能夠自動檢測輸入JSON文件的編碼