取消
顯示的結果
而不是尋找
你的意思是:

無法訪問S3對象從磚使用AWS和Azure磚我訪問鍵

Obulreddy
新的因素

嗨,團隊,

我們試圖連接到Amazon S3 bucket磚上運行的AWS和Azure在筆記本使用我通過Scala代碼直接訪問鍵,我們正麵臨著com.amazonaws.services.s3.model。AmazonS3Exception:禁止;與狀態代碼403年。但通過使用相同的證書我們可以從AWS CLI訪問它。

示例代碼,我們跑在筆記本上

進口 org apache 火花 sql SparkSession
瓦爾 火花 = SparkSession .builder
.appName ( “S3訪問” )
.getOrCreate ()
/ /設置AWS訪問密鑰和秘密密鑰
spark.conf.set ( “spark.hadoop.fs.s3a.access.key” , “* * * * * * * * * * *” )
spark.conf.set ( “spark.hadoop.fs.s3a.secret.key” , “* * * * * * * * * * * * * * * * * * * * * *” )
/ /如果需要設置S3端點URL
spark.conf.set ( “spark.hadoop.fs.s3a.endpoint” , “s3.us -東- 2. amazonaws.com” )
/ /讀取一個文件從S3 bucket DataFrame
瓦爾 df = spark.read.parquet ( “s3: / / < parquet_file_path >” )
df.show ()
謝謝,
Obul。
3回複3

卡卡
貢獻者

需要創建實例配置文件。閱讀更多細節如下網址:https://docs.www.eheci.com/aws/iam/instance-profile-tutorial.html

希望它工作:slightly_smiling_face:

Vidula_Khanna
主持人
主持人

@Obulreddy

我們還沒有聽到來自你自從上次反應@KaKa,我檢查看看她的建議幫助你。

否則,如果你有任何解決方案,請與社區分享,因為它可以幫助別人。

同時,請別忘了點擊“選擇最佳”按鈕時提供的信息幫助解決你的問題。

@Vidula_Khanna

從我的網站很明顯,不再擔憂

非常謝謝大家

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map