錯誤鋪寫文件

[JEAG]

你好,我們每天都有這一連串的錯誤在不同的文件和流程:

調用o11255.parquet時發生一個錯誤。

:org.apache.spark。SparkException:工作中止。

引起的:org.apache.spark。SparkException:工作階段失敗而終止:任務0階段982.0失敗了4次,最近的失敗:在舞台上失去了任務0.3 982.0 (TID 85705、172.20.45.5執行人31):org.apache.spark。SparkException:任務失敗而寫的行。

引起的:com.databricks.sql.io。FileReadException:讀取文件時錯誤dbfs:……它是可能的底層文件已經更新。您可以顯式地火花的緩存失效運行“REFRESH TABLE表”命令的SQL或重新創建數據集/ DataFrame參與。

引起的:shaded.parquet.org.apache.thrift.transport.TTransportException: . io .IOException:流關閉!

引起的:java。IOException:流關閉!

引起的:java。FileNotFoundException: dbfs: /…

現在,我們再次修理它刪除文件和運行工作,但我們不知道如何避免´錯誤

任何想法?

謝謝

[Kaniz · Accepted solution]

嗨@Jose擊中Aznarte加西亞,

這是預期的行為,當你更新表中的某些行,馬上查詢。

從錯誤信息:

它是可能的底層文件已經更新。可以顯式地火花的緩存失效運行' REFRESH TABLE的表'命令在SQL或重新創建數據集/ DataFrame參與。

為了解決這個問題,刷新所有緩存條目相關聯的表。

REFRESH TABLE table_name db_name。

更新的表相關聯的所有緩存條目。

如果表之前緩存,那麼它將被緩存延遲下次掃描。