我試圖創建一個流三角洲住表。我經曆的主要問題是下麵的錯誤。
com.databricks.sql.cloudfiles.errors。CloudFilesIllegalStateException: Found mismatched event: key
我有一個aws演示applow s3中創建一個文件夾,充斥著鑲花的文件。當我第一次攝取這個文件夾所有一切都非常完美。不過下次流運行和創建一個文件夾(名字是獨一無二的每個運行)我收到上述錯誤說明文件夾前綴不匹配。任何人都有這個問題?
@Debayan穆克吉你好!我已經通過了文檔和用它當我設置dlt。更具體地說當我運行一個初始負載一切正常就好。我運行演示applow在s3中創建一個文件夾和路徑類似s3: / / mybucket /攝入/ load1
當我再次運行演示applow獲得最新的更新,它將創建一個新文件夾在同一路徑。例如:s3: / / mybucket /攝入/ load2錯誤會說什麼
com.databricks.sql.cloudfiles.errors。CloudFilesIllegalStateException: Found mismatched event: key s3://mybucket/ingestion/load2 does not have the prefix load1