從Parquet轉換到Delta Lake失敗

當您有子目錄時,將文件從Parquet轉換到Delta Lake會失敗,並出現分區錯誤。期望0個分區列,但發現1個分區列

寫的何塞·岡薩雷斯

最後發布日期:2022年5月10日

問題

您正在嚐試將Parquet文件轉換為Delta Lake文件。

包含Parquet文件的目錄包含一個或多個子目錄。

轉換失敗,並出現錯誤消息:期望0分區列:[],但發現1分區列:[]從解析文件名:;。

導致

轉換進程試圖將子目錄作為分區處理。這將導致錯誤消息。

解決方案

如果使用Databricks Runtime 7.5或以下版本,請確保包含Parquet文件的目錄沒有子目錄。

此問題在Databricks Runtime 8.0及以上版本中已解決。