df.printSchema ()
根
|——Device_ID:字符串(nullable = true)
|——地點:字符串(nullable = true)
|——緯度:雙(nullable = true)
|——經度:雙(nullable = true)
| - DateTime:時間戳(nullable = true)
|——Rainfall_Value:雙(nullable = true)
|——年:整數(nullable = true)
|——月:整數(nullable = true)
|——天:整數(nullable = true)
|——小時:整數(nullable = true)
|——分鍾:整數(nullable = true)
df.write.partitionBy(“年”、“月”).mode .parquet(“覆蓋”)(“/ home /降雨/拚花/ rainfall.parquet”)
org.apache.spark。SparkException:工作階段失敗而終止:任務29階段675.0失敗了1次,最近的失敗:在舞台上失去了任務29.0 675.0 (TID 5311) (ip - 10 - 175 - 235 - 230. - ap -東南- 1. - compute.internal執行人司機):com.databricks.sql.io。FileReadException:讀取文件時錯誤dbfs: REDACTED_LOCAL_PART@xyz * * .com.sg / weather123-lakehouse /δ/ 2022 - 10 - 13. -拚花/部分- 00003 - tid - 7527434428502281281 - b966b165 - 5 - e61 4 - ba0 a6ca c000.snappy.parquet——cea51e5acdf2 - 3762 - 1。鑲木地板列不能轉換。專欄:[Rainfall_Value],預期:倍增式,發現:INT64
因為上麵的模式已經顯示Rainfall_Value倍增式的,為什麼會抱怨它發現INT64類型?我迷路了如何調試。
提前謝謝。
是的,他們已經回答了,謝謝你的檢查。