鑲木地板列不能轉換。專欄:[Rainfall_Value],預期:倍增式,發現:INT64

[THIAM_HUATTAN]

df.printSchema ()

根

|——Device_ID:字符串(nullable = true)

|——地點:字符串(nullable = true)

|——緯度:雙(nullable = true)

|——經度:雙(nullable = true)

| - DateTime:時間戳(nullable = true)

|——Rainfall_Value:雙(nullable = true)

|——年:整數(nullable = true)

|——月:整數(nullable = true)

|——天:整數(nullable = true)

|——小時:整數(nullable = true)

|——分鍾:整數(nullable = true)

df.write.partitionBy(“年”、“月”).mode .parquet(“覆蓋”)(“/ home /降雨/拚花/ rainfall.parquet”)

org.apache.spark。SparkException:工作階段失敗而終止:任務29階段675.0失敗了1次,最近的失敗:在舞台上失去了任務29.0 675.0 (TID 5311) (ip - 10 - 175 - 235 - 230. - ap -東南- 1. - compute.internal執行人司機):com.databricks.sql.io。FileReadException:讀取文件時錯誤dbfs: REDACTED_LOCAL_PART@xyz * * .com.sg / weather123-lakehouse /δ/ 2022 - 10 - 13. -拚花/部分- 00003 - tid - 7527434428502281281 - b966b165 - 5 - e61 4 - ba0 a6ca c000.snappy.parquet——cea51e5acdf2 - 3762 - 1。鑲木地板列不能轉換。專欄:[Rainfall_Value],預期:倍增式,發現:INT64

因為上麵的模式已經顯示Rainfall_Value倍增式的,為什麼會抱怨它發現INT64類型?我迷路了如何調試。

提前謝謝。

[Vidula_Khanna]

嗨@THIAM HUAT譚

很高興認識你,謝謝你的問題!

看看你的同行在社區中有一個回答你的問題。謝謝。

[THIAM_HUATTAN]

是的,他們已經回答了,謝謝你的檢查。

[Lakshay]

嗨@THIAM HUAT TAN,這個問題是因為模式定義的列“Rainfall_Value”的倍增式和數據幀中所有值的整數類型。這可能是由於一個或多個值。根據數據,您需要更新的即模式或數據。