我怎麼上傳文件流對象使用pyspark S3 bucket ?

[rammy]

我可以使用pyspark能夠保存數據到S3但不知道如何將一個文件流對象保存到使用pyspark S3 bucket。python的幫助下我可以實現這一但當統一目錄上啟用Databrciks總是最終拒絕訪問異常。

我添加了一個截圖,示例代碼來檢查相同

% python導入請求導入json進口io進口boto3 s3_client = boto3.client (s3) r = s3_client.put_object(= "身體反應。內容”,桶= " bucketName”,關鍵= "文件名")

我的問題是

為什麼能夠將數據保存到一個Amazon S3 bucket和Python使用Pyspak但不是嗎?

保存數據時使用python pyspark為什麼不工作?如果有一個原因我們如何使用pyspark保存文件?

[Senthil1]

嗨@rammy,

隻有拒絕訪問異常發生的原因,

確保統一目錄metastore標記存儲正確的權限(存儲憑證)允許寫S3對象。也一定要檢查我的角色有標記這個政策,

[rammy]

謝謝你的響應@SENTHIL KUMARR MALLI SUDARSAN。我將試試。如果它需要配置為什麼Pyspark允許寫S3嗎?

[Senthil1]

確保METASTORE unity_catalog存儲桶你r不寫有關。也試著寫在不同的桶和顯示異常你r得到什麼?還告訴這地區METASTORE桶,哪些地區鬥你r寫作有關

[Kaniz]

嗨@Ramesh Bathini,我們一直沒有收到你自從上次反應@SENTHIL KUMARR MALLI SUDARSAN,我檢查,看看他的建議幫助你。

否則,如果你有任何解決方案,請與社區分享,因為它可以幫助別人。

同時,請別忘了點擊“選擇最佳”按鈕時提供的信息幫助解決你的問題。