閱讀大約20從ADLS文本文件,這些文件做一些轉換,然後寫回到ADLS作為一個delta文件並行(所有的操作都是通過線程池)。來自20個線程,它是寫入一個文件,使用dataframe。添加方法。得到以下錯誤,
異常類型:MetadataChangedException異常消息:三角洲表的元數據已經改變了一個並發更新。請再次嚐試操作。操作:寫operationParameters:{模式:附加partitionBy: []} readVersion: 0, isolationLevel: WriteSerializable, isBlindAppend:真的,operationMetrics: {numOutputBytes numFiles: 20, numOutputRows: 1650135: 80649658}}引用https://docs.microsoft.com/azure/databricks/delta/concurrency-control更多的細節”
這是一個插入操作,因此應被視為盲目的插入和默認的隔離級別,那麼為什麼我的並發更新/元數據變化異常嗎?任何想法?
