Azure sql server數據讀入數據磚通過JDBC連接(火花版本2. x)和存儲到Gen1。現在客戶想從Gen1 Gen2遷移數據。當我們跑相同的工作,從Azure Sql服務器讀取數據通過JDBC磚(火花版本升級從2。x 3.2)源端日期類型列填充字符串。除了火花版本升級沒有技術或功能改變或沒有源模式變化。無法找到問題的根源。誰能幫我找到確切的問題嗎?
遠東有火花選項來啟用“舊”日期處理。
你可以設置spark.sql.legacy。timeParserPolicy火花3.0之前遺留恢複行為。
坦率地說,我不喜歡這種方法如火花3給你很多有趣的日期功能。
所以你能做的就是,首先確定你有日期列,並顯式地把他們與to_date日期功能。