2022年10月28日更新gopinath.chandrasekaran
結構化流工作減緩每十日批
問題您正在運行的一係列結構化流工作和寫入文件。每10日似乎跑慢於前麵的工作。導致文件水槽創建一個_spark_metadata文件夾目標路徑。這個元數據文件夾存儲每一批信息,包括哪些文件批處理的一部分。這是所需的箴言…
1分鍾的閱讀時間
2022年11月8日更新gopinath.chandrasekaran
未提交的文件導致數據重複
問題你有一個網絡問題(或類似的),一個寫操作是在進步。你重新運行工作,但部分未提交的文件在運行造成不必要的數據重複失敗。導致磚提交協議是如何工作的:DBIO提交協議(AWS | Azure | GCP)事務。文件後才提交反式……
1分鍾的閱讀時間
2023年2月17日更新gopinath.chandrasekaran
從DELTA_LOG腐敗錯誤中恢複過來
問題要查詢一個增量表當你得到錯誤IllegalStateException說,元數據無法恢複。錯誤的SQL語句:IllegalStateException:δ表的元數據無法恢複,重建版本:691193。你_delta_log目錄中手動刪除文件了嗎?集石膏……
2分鍾的閱讀時間
加載更多