問題

當你複製一個大文件從本地文件係統上DBFS S3,以下異常可能發生:

Amazon.S3。AmazonS3Exception:零件號必須是1到10000之間的整數,包容性

導致

這是一個S3限製段數。部分文件隻能編號從1到10000,包容性。

解決方案

阻止這個異常的發生,增加每一部分文件的大小。

1. 在集群的設置以下屬性火花配置:

   spark.hadoop.fs.s3a.multipart。大小104857600

2. 重新啟動集群。