取消
顯示的結果
而不是尋找
你的意思是:

如何執行模式檢查和受益於badRecordsPath當使用自動裝卸機嗎

斯萬
新的因素

我們想要有一個健壯的讀者,確保我們讀和寫的數據使用autoloader尊重模式是提供給讀者自動裝卸機。

我們還提供的選項(參見“badRecordsPath”https://docs.www.eheci.com/spark/latest/spark-sql/handling-bad-records.html)工作好損壞的文件等。

我們有一個問題類似於一個記錄https://kb.www.eheci.com/data/wrong-schema-in-files.html小數點(20日0)源文件中發現不符合我們在模式中指定。

主要的問題是:你有一個方法,使火花位置給定登錄badRecordsPath上麵而不是提高一個例外發生時(我們無法知道導致問題)的文件路徑。所有這些聲明是高度依賴於可用的選項和badRecordsPath”的實現。

0回答0
歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map