取消
顯示的結果
而不是尋找
你的意思是:

鑲木地板列不能轉換。專欄:[Rainfall_Value],預期:倍增式,發現:INT64

THIAM_HUATTAN
貢獻者三世

df.printSchema ()

|——Device_ID:字符串(nullable = true)

|——地點:字符串(nullable = true)

|——緯度:雙(nullable = true)

|——經度:雙(nullable = true)

| - DateTime:時間戳(nullable = true)

|——Rainfall_Value:雙(nullable = true)

|——年:整數(nullable = true)

|——月:整數(nullable = true)

|——天:整數(nullable = true)

|——小時:整數(nullable = true)

|——分鍾:整數(nullable = true)

df.write.partitionBy(“年”、“月”).mode .parquet(“覆蓋”)(“/ home /降雨/拚花/ rainfall.parquet”)

org.apache.spark。SparkException:工作階段失敗而終止:任務29階段675.0失敗了1次,最近的失敗:在舞台上失去了任務29.0 675.0 (TID 5311) (ip - 10 - 175 - 235 - 230. - ap -東南- 1. - compute.internal執行人司機):com.databricks.sql.io。FileReadException:讀取文件時錯誤dbfs: REDACTED_LOCAL_PART@xyz * * .com.sg / weather123-lakehouse /δ/ 2022 - 10 - 13. -拚花/部分- 00003 - tid - 7527434428502281281 - b966b165 - 5 - e61 4 - ba0 a6ca c000.snappy.parquet——cea51e5acdf2 - 3762 - 1。鑲木地板列不能轉換。專欄:[Rainfall_Value],預期:倍增式,發現:INT64

因為上麵的模式已經顯示Rainfall_Value倍增式的,為什麼會抱怨它發現INT64類型?我迷路了如何調試。

提前謝謝。

3回複3

Vidula_Khanna
主持人
主持人

嗨@THIAM HUAT譚

很高興認識你,謝謝你的問題!

看看你的同行在社區中有一個回答你的問題。謝謝。

是的,他們已經回答了,謝謝你的檢查。

Lakshay
尊敬的貢獻者三世
尊敬的貢獻者三世

嗨@THIAM HUAT TAN,這個問題是因為模式定義的列“Rainfall_Value”的倍增式和數據幀中所有值的整數類型。這可能是由於一個或多個值。根據數據,您需要更新的即模式或數據。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map