配置加密與公裏S3

本文將介紹如何配置服務器端加密公裏寫文件的關鍵s3a: / /路徑。加密您的工作空間的根S3 bucket,明白了Customer-managed鍵工作區存儲。

步驟1:配置實例配置文件

在磚,創建一個實例配置文件。

步驟2:添加公裏的實例配置文件作為一個關鍵用戶提供的關鍵配置

  1. 在AWS,去公裏服務。

  2. 點擊您想要添加的權限的關鍵。

  3. 在關鍵用戶部分,點擊添加。

  4. 選擇複選框旁邊的我的角色。

  5. 點擊添加。

步驟3:設置加密屬性

建立全球公裏加密屬性火花配置設置或使用一個init腳本。配置spark.hadoop.fs.s3a.server-side-encryption.key關鍵是用你自己的關鍵。

火花配置

spark.hadoop.fs.s3a.server-side-encryption.keyarn:aws:kms:::key/spark.hadoop.fs.s3a。server-side-encryption-algorithm SSE-KMS

您還可以配置一桶公裏加密。例如,您可以配置每個桶分別使用以下鍵:

#設置身份驗證和端點為一個特定的桶spark.hadoop.fs.s3a.bucket。< bucket名> .aws.credentials。供應商< aws-credentials-provider-class >spark.hadoop.fs.s3a.bucket。< bucket名>。端點< aws-endpoint >#配置不同的公裏加密密鑰為一個特定的桶spark.hadoop.fs.s3a.bucket。< bucket名> .server-side-encryption。關鍵< aws-kms-encryption-key >

有關更多信息,請參見一桶配置。

Init腳本

配置全球加密設置在筆記本電池運行下麵的代碼來創建初始化腳本set-kms.sh和配置一個集群運行腳本。

dbutils。fs。把(“磚/腳本/ set-kms.sh”,”“”# ! / bin / bash貓> / conf / aes-encrypt-custom-spark-conf /磚/驅動程序。參看< <生物(司機){“spark.hadoop.fs.s3a.server-side-encryption。關鍵“=”是:aws:公裏:<地區>:< aws-account-id >:鍵/ < bbbbbbbb-ddd-ffff-aaa-bdddddddddd >”“spark.hadoop.fs.s3a。server-side-encryption-algorithm SSE-KMS“=}終點”“”,真正的)

一旦你確認加密工作,配置在所有集群使用加密全球init腳本。