CloudFilesIllegalStateException:發現不匹配的事件:關鍵old_file_path沒有前綴:new_file_path

[lurban]

我的團隊目前使用自動裝卸機和δ住的地方離ADLS表處理增量數據存儲。我們需要保持相同的表和曆史,但開關filepath存儲到另一個位置。當我測試filepath變化,我收到這個錯誤在DLT OLD_FILE_PATH被原來的目錄和NEW_FILE_PATH被新目錄:

com.databricks.sql.cloudfiles.errors。CloudFilesIllegalStateException:發現不匹配的事件:關鍵OLD_FILE_PATH沒有前綴:NEW_FILE_PATH

任何人遇到這樣的一個錯誤而需要改變文件路徑自動裝卸機/ DLT嗎?有建議如何成功地使這個開關沒有重置和失去當前數據?

提前謝謝!

[DD_Sharma]

自動裝卸機不支持改變源路徑運行工作,所以如果你改變源路徑失敗因為你流源路徑已經改變了。然而,如果你真的想要改變你可以改變它的路徑,使用新的檢查點目錄。但這很難進行有針對性的詳細。