如何從S3讀取數據接入點pyspark ?

[yutaro_ono1_558]

我想從s3訪問點讀取數據。

我成功地通過s3使用boto3客戶端訪問數據訪問點。

s3 = boto3.resource (s3)美聯社= s3。桶(“攻擊:aws: s3:【地區】:[aws帳戶id]: accesspoint / (s3接入點名稱)”)的obj ap.objects.all():打印(obj.key)打印(obj.get()(身體的).read ())

我試著讀訪問通過pyspark s3訪問點。

但是,我不訪問s3 . lang接入點的錯誤”。NullPointerException:零uri主機。這可能是由於未編碼/密碼字符串”。

# #數據無法訪問https:// [s3-accesspoint-name] - [accountid] .s3-accesspoint。[地區].amazonaws.com/ df = spark.read文件路徑。csv (“s3a: / /攻擊:aws: s3:[地區]:[aws帳戶id]: accesspoint / [s3接入點名稱]/[數據文件路徑]”)df.show ()

如何訪問S3數據訪問點嗎?

S3訪問點

https://docs.aws.amazon.com/AmazonS3/latest/userguide/using-access-points.html

[Kaniz]

你好@yutaro.ono1.558849138444763E12!我的名字叫Kaniz,和我是一個技術主持人。很高興認識你,謝謝你的問題!看看你的同行在論壇上先回答你的問題。否則我們將很快跟進與回複。

[本周]

你去跟進這個問題,Kaniz嗎?

[Kaniz · Accepted solution]

嗨@Yutaro小野和@Niclas Ahlqvist Lindqvist,問題是,你提供了攻擊而不是s3 URL。URL將是這樣的(假設接入點是bucket名稱):

s3: / / accesspoint /接入點/前綴/

有一個按鈕在AWS控製台如果你在對象或前綴,右上方

複製S3 URL

[Kaniz]

嗨@Niclas Ahlqvist Lindqvist @Yutaro洋子,你的幫助下能夠解決你的問題我的回答嗎?