模式演化問題

[困惑]

嗨,所有

我使用自動加載程序加載一些數據,但與模式演化的麻煩。

添加了一個新列的數據加載和我得到以下錯誤:

StreamingQueryException:遇到未知的領域(s)在解析:{" SomeField ": {}}

我不是100%確定這個錯誤拋出由自動裝卸機或結構化流,但我不指定一個模式在CloudFiles配置(隻是一個模式位置)和我在writeStream設置以下選項

.option (“mergeSchema”,“真正的”)

有人有想法嗎?

幹杯

墊

[困惑]

是的,我得到同樣的錯誤,運行工作兩次/ docs作為第一個失敗然後第二個成功和相同的錯誤。

[Soma]

嗨,這一切都是由於空結構列自動裝卸機是混亂的結構模式。

如果我們知道結構模式基於過去給提示自動裝卸機結構或閱讀本專欄的字符串,然後解析後來使用from_json或regexp_extract

https://docs.www.eheci.com/spark/latest/structured-streaming/auto-loader-schema.html schema-hints

[rgrosskopf]

我同意提示是路要走如果你有可用的模式但模式演化的目的是,你總不可能提前知道的模式。

我收到一個類似的錯誤類似流查詢配置。問題是,閱讀模式來源於有限的樣本要導入的文件(可配置,但1000文件默認情況下)。示例中的新領域並沒有因此錯誤出在晚些時候跑進新領域吸收過程。