s3 bucket山與特定的端點

[impulsleistung]

環境:

• AZURE-Databricks
• Python語言:

我可以訪問s3 bucket通過:

boto3。客戶端(s3, endpoint_url = ' https://gateway.storjshare。io,…)

它還可以通過:

boto3。資源(s3, endpoint_url = ' https://gateway.storjshare。io,…)

下一步,我想掛載這個S3 AZURE-Databricks特定端點,但甚至沒有一個選擇。

我要如何在筆記本上寫山的平淡呢?

[Hubert_Dudek1]

在AWS控製台,在“我的安全憑據”,請生成一個新的訪問密鑰和秘密密鑰,

他們設置為env變量:

sc._jsc.hadoopConfiguration()這裏(“fs.s3n。awsAccessKeyId”, ACCESS_KEY) sc._jsc.hadoopConfiguration()這裏(“fs.s3n。awsSecretAccessKey”, SECRET_KEY)

現在你可以讀文件直接從S3 bucket

df = spark.read.csv (" https://gateway.storjshare.io/test。csv”“頭= True, inferSchema = True)

你可以掛載一桶永久使用的命令

dbutils.fs。山(f”s3a: / / {ACCESS_KEY}: {SECRET_KEY} @ {aws_bucket_name}”, f“/ mnt / {mount_name}”)

安全使用的關鍵庫來存儲您的訪問密鑰和秘密密鑰

[impulsleistung]

這是行不通的。我用AZURE-Databricks我想從S3存儲桶/讀/寫對象與一個特定的端點→endpoint_url = ' https://gateway.storjshare.io '

所以這不是一個I / O操作從磚到AWS。此外,這是重要的,因為Azure-Datafactory隻支持閱讀而不是寫作。到目前為止,沒有友好的方式。

[Kaniz]

嗨@Kevin Ostheimer,我們一直沒有收到你自從上次反應@Hubert杜德克,我檢查是否你有一個決議。

如果你有任何解決方案,請與社區分享,因為它可以幫助別人。否則,我們將與更多的細節和試圖幫助回應。

同時,請別忘了點擊“選擇最佳”按鈕時提供的信息幫助解決你的問題。

[impulsleistung]

這就跟你問聲好！我剛剛試過了,我在AZURE和端點是專有的,我的回答