在我的環境中,有3組的筆記本上運行他們自己的時間表,但是他們都使用相同的底層事務日誌(auditlogs,我們稱之為)S3。不時地,各種筆記本每個3組失敗有以下錯誤:
“錯誤的SQL語句:SparkException:工作中止階段失敗:……讀取文件時錯誤dbfs: / mnt / <路徑> / <…> .snappy.parquet。事務日誌中引用一個文件無法找到。這發生在手動數據從文件係統中刪除,而不是使用桌上
刪除
聲明。……”
以前,我們已經恢複刪除的文件在S3和運行成功的筆記本。學習錯誤的文檔給我們展示了FSCK作為一個可能的解決方案,但是我有以下幾個問題:
1)磚將S3鑲花的文件標記為刪除的正常工作嗎?如果是這樣,恢複刪除文件特別是錯了或壞嗎?
2)並運行FSCK刪除事務日誌文件條目不能發現了使我們意想不到的後果,如缺失或不完整的事務日誌數據隨著時間的?
提前謝謝!
