Delta Merge無法解析嵌套字段

Delta Merge失敗,提示“由於數據類型不匹配,Delta Merge無法解析字段”錯誤消息。

寫的亞當Pavlacka

最後發布日期:2022年5月10日

問題

嚐試使用自動模式演進進行Delta Merge,但使用Delta Merge:由於數據類型不匹配,無法解析“字段”錯誤消息。

導致

如果對嵌套列字段進行了更改,就會發生這種情況。

例如,假設我們有一列名為地址在田野裏streetNamehouseNumber,城市嵌套在裏麵。

嚐試添加額外的字段或刪除字段,將導致表上任何即將進行的插入或更新事務失敗,即使mergeSchema對於事務來說是真的。

解決方案

這種行為是經過設計的。

Delta自動模式演進特性隻支持頂級列。不支持嵌套字段。

請參閱Delta Lake自動模式演進(AWS|Azure|GCP)文件,以獲取更多資料。