錯誤鋪寫文件

[JEAG]

你好,我們每天都有這一連串的錯誤在不同的文件和流程:

調用o11255.parquet時發生一個錯誤。

:org.apache.spark。SparkException:工作中止。

引起的:org.apache.spark。SparkException:工作階段失敗而終止:任務0階段982.0失敗了4次,最近的失敗:在舞台上失去了任務0.3 982.0 (TID 85705、172.20.45.5執行人31):org.apache.spark。SparkException:任務失敗而寫的行。

引起的:com.databricks.sql.io。FileReadException:讀取文件時錯誤dbfs:……它是可能的底層文件已經更新。您可以顯式地火花的緩存失效運行“REFRESH TABLE表”命令的SQL或重新創建數據集/ DataFrame參與。

引起的:shaded.parquet.org.apache.thrift.transport.TTransportException: . io .IOException:流關閉!

引起的:java。IOException:流關閉!

引起的:java。FileNotFoundException: dbfs: /…

現在,我們再次修理它刪除文件和運行工作,但我們不知道如何避免´錯誤

任何想法?

謝謝

[werners1]

真空是未提交文件的清理。這種情況自動在磚,但你也可以手動觸發。

我猜你有多個工作在鋪目錄更新/刪除文件。

(丹穆提到)。

你能檢查這個嗎?

[JEAG]

嗨,所有

我們移動的一個過程使用不同的存儲Azure賬戶幾天前和我報告的錯誤不會再發生了

´我不認為這是巧合,所以我得出結論,相關的問題是一些過載存儲,因為我´´確保我們的流程不讀和寫相同的文件在同一時間

[databircks]

你好,

我也是尋找一個解決同樣的錯誤。我們使用DBR“9.1 LTS毫升(包括Apache火花3.1.2,Scala 2.12)”,這個錯誤。我們閱讀和寫作的數據路徑相同,但是裏麵有分區來區分路徑的文件夾。有解決這個錯誤嗎?

[Kaniz]

嗨@Bhavsik阿希爾族人,你能粘貼錯誤堆棧嗎?

[databircks]

嗨@Kaniz開羅,我在這裏分享錯誤日誌。