取消
顯示的結果
而不是尋找
你的意思是:

TimestampFormat問題

irfanaziz”id=
因素二世

磚筆記本昨天失敗了由於時間戳的格式問題。

錯誤:

“SparkUpgradeException:你可能得到不同的結果由於火花的升級3.0:無法解析“2022-08-10 00:00:14.2760000”在新的解析器。你可以設置spark.sql.legacy。timeParserPolicy遺留恢複行為引發3.0之前,或一組糾正和治療是一個無效的datetime字符串。

筆記本已經運行很好。例如我們有“2022 - 08年- 07 - t23:59:57.9740000”ts列中的時間戳值。

我們使用顯式timestampformat yyyy-MM-dd HH: mm: ss。瑞士“當rreading csv文件。

然而,我們開始在時間戳值零值不能夠被轉換。

所以我改變了格式的yyyy-MM-dd HH: mm: ss。嘶嘶’,它曾為一個對象。但是這個問題仍然為另一個對象。

然而,

當我完全刪除timestampFormat選項為這最後的工作對象。

我想知道改變磚集群啟動失敗。文件的時間戳值在相同的格式。

這是沒有timestampFormat選項的功能。

def ReadRawCSV (filesToProcess、標題分隔符,schema_struct): delta_df = spark.read.options(標題=標題分隔符=分隔符). schema (schema_struct) . csv (filesToProcess)返回delta_df

1回複1

找”id=
新的貢獻者二世

你必須現在解決這個問題但是為了那些遇到一遍,這是為我工作的解決方案:

火花。sql(“設置spark.sql.legacy.timeParserPolicy =遺產”)

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map