你好,我們每天都有這一連串的錯誤在不同的文件和流程:
調用o11255.parquet時發生一個錯誤。
:org.apache.spark。SparkException:工作中止。
引起的:org.apache.spark。SparkException:工作階段失敗而終止:任務0階段982.0失敗了4次,最近的失敗:在舞台上失去了任務0.3 982.0 (TID 85705、172.20.45.5執行人31):org.apache.spark。SparkException:任務失敗而寫的行。
引起的:com.databricks.sql.io。FileReadException:讀取文件時錯誤dbfs:……它是可能的底層文件已經更新。您可以顯式地火花的緩存失效運行“REFRESH TABLE表”命令的SQL或重新創建數據集/ DataFrame參與。
引起的:shaded.parquet.org.apache.thrift.transport.TTransportException: . io .IOException:流關閉!
引起的:java。IOException:流關閉!
引起的:java。FileNotFoundException: dbfs: /…
現在,我們再次修理它刪除文件和運行工作,但我們不知道如何避免´錯誤
任何想法?
謝謝
