我遇到一個問題當我試圖使用自動裝卸機從Azure ADLS Gen2讀取json文件。我得到這個問題僅供特定的文件。我檢查了文件是好的,沒有損壞。

[SRK]

我遇到一個問題當我試圖使用自動裝卸機從Azure ADLS Gen2讀取json文件。我得到這個問題僅供特定的文件。我檢查了文件是好的,沒有損壞。

下麵是這個問題:

. lang。IllegalArgumentException:要求失敗:字符串文字必須有一個相應的值,但類整數。

com.databricks.sql.io。FileReadException:讀取文件時錯誤/ mnt /源/卡夫卡/ customer_raw / filtered_data /年= 2022 /月= 11 /天= 9 /小時= 15 /部分- 00000 - 31413 -供應量- 0 - a8f - 480 f - 8 d45 - 6970 f4c4c9f7.c000.json。

詳細的錯誤附加文件:

我用δ住管道。這是代碼:

@dlt.table (

name =表名,

評論= "創建青銅表”,

table_properties = {

“質量”:“青銅”

}

)

def Bronze_Table_Create ():

回報(

火花

.readStream

. schema (schemapath)

.format (“cloudFiles”)

.option (“cloudFiles。格式”、“json”)

.option (“cloudFiles。schemaLocation”, schemaLocation)

.option (“cloudFiles。在ferColumnTypes", "false")

.option (“cloudFiles。schemaEvolutionMode”、“救援”)

.load (sourcelocation)

)

這太緊迫。任何幫助都是高度讚賞。

[Geeta1]

嘿@Swapnil Kamle,你能試著保持inferColumnTypes為true,默認情況下JSON字符串應該考慮所有列,不知道為什麼它是失敗的。

[SRK]

我不能讓InferColumnTypes真的,我通過顯式模式。我不想推斷列。是失敗的一些文件。我檢查了文件。但是看起來不錯的文件。

[SRK · Accepted solution]

我有這個問題解決了。我們有重複的列的問題是由錯誤的模式文件。因為這是顯示錯誤。然而,錯誤是完全mis-leading,為什麼不能夠糾正它。