取消
顯示的結果
而不是尋找
你的意思是:

模式解析當源字段映射的數據類型不正確的問題

MattM
新的貢獻者三世

我有複雜的json文件已大規模結構列。我們經常有問題當我們試圖解析這個json文件,形成案例類提取字段從模式。通過這種方法我們麵臨的問題是,如果一個case類中的數據類型的字段不正確,其餘以下字段的類不填充在目標。希望這個問題是有意義的。

有替代方法嗎?一個我能想到的就是從json文件中提取所有字段作為字符串,然後進行數據類型轉換。這增加了一個額外的步驟。更好的解決方案是感激。謝謝。

1接受解決方案

接受的解決方案

Hubert_Dudek1
尊敬的貢獻者三世

我想解決你的問題是使用自動加載程序流讀取數據,因為它支持模式提示。如果你不想使用它作為流足夠的指定觸發一次(一旦所有加載json將完成工作)。

這是關於加載json:

https://docs.www.eheci.com/spark/latest/structured-streaming/auto-loader-json.html

然後你就可以指定模式提示:

https://docs.www.eheci.com/spark/latest/structured-streaming/auto-loader-schema.html schema-hints

另外你可以嚐試不同的模式演化選擇流

在原帖子查看解決方案

5回複5

Kaniz
社區經理
社區經理

嗨@Matt米!我的名字叫Kaniz,我這裏的技術主持人。很高興認識你,謝謝你的問題!看看你的同行在社區中有一個回答你的問題。否則我將盡快給你回電。謝謝。

Hubert_Dudek1
尊敬的貢獻者三世

我想解決你的問題是使用自動加載程序流讀取數據,因為它支持模式提示。如果你不想使用它作為流足夠的指定觸發一次(一旦所有加載json將完成工作)。

這是關於加載json:

https://docs.www.eheci.com/spark/latest/structured-streaming/auto-loader-json.html

然後你就可以指定模式提示:

https://docs.www.eheci.com/spark/latest/structured-streaming/auto-loader-schema.html schema-hints

另外你可以嚐試不同的模式演化選擇流

MattM
新的貢獻者三世

謝謝休伯特!我有自動裝卸機的解決方案,我認為這是一個可行的選擇,以確保我沒有模式解析問題。

匿名
不適用

嘿,@Matt M -如果@Hubert杜德克的回答解決了問題,你會很高興他的答案標記為最好?它幫助其他成員更快找到解決方案。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map