無法讀取文件從S3

[LearningDatabri]

我試圖從S3讀取一個文件,但麵對下麵的錯誤:

org.apache.spark。SparkException:工作階段失敗而終止:任務0階段53.0失敗了4次,最近的失敗:在舞台上失去了任務0.3 53.0 (TID 82 xx.xx.xx。xx,遺囑執行人0):com.databricks.sql.io。文件讀Exception: Error while reading file s3:////file.csv.

我使用:

spark.read。選項(分隔符=“|”)。選項(“標題”,假). csv (s3: / / < mybucket > / <路徑> / file.csv”)

[LearningDatabri]

現在是有道理的我為什麼有一些文件的錯誤,而不是別人。

[Sivaprasad1]

你用的哪個DBR版本?請測試它可能不同版本的DBR DBR 9. x ?

[LearningDatabri]

我試著用所有可用的LTS版。