從拚花到三角洲湖轉換失敗

當有子目錄時,將文件從Parquet轉換為Delta Lake會因分區錯誤而失敗。期望0個分區列,但發現1個分區列

寫的何塞·岡薩雷斯

最近一次發布時間:2022年5月10日

問題

您正在嚐試將Parquet文件轉換為Delta Lake文件。

包含Parquet文件的目錄包含一個或多個子目錄。

轉換失敗,錯誤信息如下:期望0個分區列:[],但是從解析文件名中發現1個分區列:[]: ;。

導致

轉換過程試圖將子目錄作為分區處理。這將導致錯誤消息。

解決方案

如果您正在使用Databricks Runtime 7.5或更低的版本,請確保包含Parquet文件的目錄沒有子目錄。

這個問題在Databricks Runtime 8.0及以上版本中已經解決。