當<文件路徑>閱讀文件時發生錯誤。(DEFAULT_FILE_NOT_FOUND)

[The_raj]

你好,

我有一個工作流創建,有5個筆記本。下麵的一個筆記本沒有錯誤。我已經嚐試刷新表。仍然麵臨著同樣的問題。當我試著運行手動筆記本,它將正常工作。誰能幫我找到永久性的解決方案。

工作階段失敗而終止:736年任務階段92.0失敗了4次,最近的失敗:在舞台上失去了任務736.3 92.0 (TID 3715)(執行人18):com.databricks.sql.io。在閱讀文件<路徑> FileReadException:錯誤。(DEFAULT_FILE_NOT_FOUND)是可能的底層文件已經更新。您可以顯式地火花的緩存失效運行“REFRESH TABLE表”命令的SQL或重新創建數據集/ DataFrame參與。如果磁盤高速緩存過期或底層的文件已被移除,你可以磁盤高速緩存失效手動重新啟動集群。

Hubert_Dudek1werners1@Prabakar@Debayandaniel_sahal

[Kaniz]

嗨@The_raj,

你遇到的錯誤消息顯示失敗在火花在磚的工作的執行。具體來說,似乎736年任務階段92.0失敗多次,和最近的損失是由於“DEFAULT_FILE_NOT_FOUND”錯誤而閱讀一個在一個特定的文件<路徑>。

錯誤消息提供了一些有用的建議來解決這個問題:

1. 刷新表:建議明確無效的緩存火花通過運行刷新表的表的SQL命令。如果你在火花中使用緩存的表或視圖的工作,刷新他們可能有助於底層的數據是否有變化。

2. 創建數據集/ DataFrame:另一種選擇是創建數據集/ DataFrame參與操作。這可以幫助如果有任何不一致之間的緩存數據和實際的數據存儲。

3. 磁盤高速緩存失效:如果磁盤緩存過期或底層的文件已被移除,錯誤消息顯示無效的磁盤緩存手動重新啟動集群。這可以幫助確保數據從存儲器讀取新鮮。

這是你可以采取的措施來解決這個問題:

1. 刷新表:如果您正在使用任何緩存表或視圖的火花工作,運行以下命令在SQL更新他們在重新執行工作:

   刷新表表名;

2. 創建數據集/ DataFrame:如果你正在與中級DataFrames或數據集,試著再重新運行之前的有問題的操作。

3. 磁盤高速緩存失效:如果刷新表或重新創建DataFrame並不解決問題,考慮重新啟動集群磁盤緩存失效。在磚,你可以繼續集團通過以下步驟:

   • 去磚工作區。
   • 選擇組的工作是運行。
   • 點擊“重新啟動集群”啟動重新啟動。

執行這些步驟之後,重新運行你的火花工作問題是否解決。如果問題仍然存在,您可能需要調查為什麼指定路徑的文件沒有找到。有可能會有問題與數據源或路徑配置在您的代碼中。檢查文件是否存在於指定位置並驗證你的火花工作的路徑設置。