我有使用SQL生成的結果。但每當我嚐試下載完整的結果(100萬行),投擲SparkException。我可以下載預覽結果但不是完整的結果。為什麼?在引擎蓋下麵會發生什麼當我試著下載完整的結果嗎?
這是例外:
SparkException:工作階段失敗而終止:任務0階段133.0失敗了4次,最近的失敗:在舞台上失去了任務0.3 133.0 2644年(TID)(192 * * *方式。x執行人6):com.databricks.sql.io。FileReadException:當abfss閱讀文件時發生錯誤:REDACTED_LOCAL_PART@someurl。它是可能的底層文件已經更新。您可以顯式地火花的緩存失效運行“REFRESH TABLE表”命令的SQL或重新創建數據集/ DataFrame參與。如果δ緩存過期或底層文件已被移除,你可以手動三角洲緩存失效重新啟動集群。
引起的:FileReadException:當abfss閱讀文件時發生錯誤:REDACTED_LOCAL_PART@someurl。它是可能的底層文件已經更新。您可以顯式地火花的緩存失效運行“REFRESH TABLE表”命令的SQL或重新創建數據集/ DataFrame參與。如果δ緩存過期或底層文件已被移除,你可以手動三角洲緩存失效重新啟動集群。
引起的:FileNotFoundException:操作失敗:指定的路徑不存在。”404頭,https:// * * * .snappy.parquet ? upn =誤動作= getStatus&timeout = 90
引起的:AbfsRestOperationException:操作失敗:指定的路徑不存在。”404頭,https:// * * * .snappy.parquet ? upn =誤動作= getStatus&timeout = 90
