模式演化問題

[困惑]

嗨,所有

我使用自動加載程序加載一些數據,但與模式演化的麻煩。

添加了一個新列的數據加載和我得到以下錯誤:

StreamingQueryException:遇到未知的領域(s)在解析:{" SomeField ": {}}

我不是100%確定這個錯誤拋出由自動裝卸機或結構化流,但我不指定一個模式在CloudFiles配置(隻是一個模式位置)和我在writeStream設置以下選項

.option (“mergeSchema”,“真正的”)

有人有想法嗎?

幹杯

墊

[匿名]

這不是作家,需要發展模式,它在閱讀大小,你遇到的問題。的文檔在這裏描述如何調整自動裝卸機。

[困惑]

嗨Josephk

我讀過博士,但我不明白,我有一個問題。

每第一個例子說我應該做本:

spark.readStream.format \ (“cloudFiles”)

.option (“cloudFiles。”、“json格式”)\

.option (“cloudFiles。schemaLocation”、“\ < path_to_schema_location >”)

.load \ (“< path_to_source_data >”)

.writeStream \

.option (“mergeSchema”,“真正的”)\

.option (“checkpointLocation”、“< path_to_checkpoint >”) \

.start (“< path_to_target”)

所以我有幾個cloudFiles選項我從隊列讀取文件通知,但基本上我做上麵的一樣,沒有指定的閱讀模式,設置mergeSchema寫。

[匿名]

你需要添加選項添加新列的讀者。它是:

.option (“cloudFiles.schemaEvolutionMode”、“addNewColumns”)。

[困惑]

嗯,我沒有添加,醫生說這是一個默認不提供一個模式。

addNewColumns

:模式時的默認模式是不提供自動加載程序。

我將試一試,謝謝。