取消
顯示的結果
而不是尋找
你的意思是:

數據類型不匹配,而從服務器讀取數據的sql數據磚

Teja07
新的貢獻者二世

Azure sql server數據讀入數據磚通過JDBC連接(火花版本2. x)和存儲到Gen1。現在客戶想從Gen1 Gen2遷移數據。當我們跑相同的工作,從Azure Sql服務器讀取數據通過JDBC磚(火花版本升級從2。x 3.2)源端日期類型列填充字符串。除了火花版本升級沒有技術或功能改變或沒有源模式變化。無法找到問題的根源。誰能幫我找到確切的問題嗎?

1接受解決方案

接受的解決方案

werners1
尊敬的貢獻者三世

遠東有火花選項來啟用“舊”日期處理。

你可以設置spark.sql.legacy。timeParserPolicy火花3.0之前遺留恢複行為。

坦率地說,我不喜歡這種方法如火花3給你很多有趣的日期功能。

所以你能做的就是,首先確定你有日期列,並顯式地把他們與to_date日期功能。

在原帖子查看解決方案

4回複4

werners1
尊敬的貢獻者三世

火花2。x和火花3。x處理日期不同。

運行火花2。在火花3 x腳本。x很可能有問題。

請檢查火花3遷移指南:

https://spark.apache.org/docs/3.0.2/sql-migration-guide.html upgrading-from-spark-sql-24-to-30

Teja07
新的貢獻者二世

@Werner Stinckens,以上鏈接是廣泛的和非常有幫助,但是我沒有得到確切的細節。你能說的具體些。

Vidula_Khanna
主持人
主持人

嗨@Mani Teja G

謝謝你的問題!幫助你更好的,請花一些時間來檢查答案,讓我知道它是否最適合您的需要。

請幫助我們選擇最好的解決方案通過點擊“選擇最佳”如果它。

您的反饋將幫助我們確保我們提供最好的服務給你。謝謝你!

werners1
尊敬的貢獻者三世

遠東有火花選項來啟用“舊”日期處理。

你可以設置spark.sql.legacy。timeParserPolicy火花3.0之前遺留恢複行為。

坦率地說,我不喜歡這種方法如火花3給你很多有趣的日期功能。

所以你能做的就是,首先確定你有日期列,並顯式地把他們與to_date日期功能。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map