配置AWS存儲(遺產)
筆記
本文僅適用於舊帳戶持有人。所有新的數據核心帳戶和大多數現有帳戶都應使用使用帳戶控製台(E2)管理存儲配置。如果您不確定擁有哪種帳戶類型,請聯係您的Databricks代表。
Databricks將您的整個帳戶資產(例如庫)存儲在Amazon Web Services S3存儲桶中。本文將為您瀏覽以配置存儲桶以完成數據鏈驅動器部署的步驟。
重要的
僅當您最初設置帳戶時,您才能使用帳戶控製台配置AWS存儲設置。之後要更改設置,請聯係幫助@數據映。com。
步驟1:生成S3存儲策略
為舊帳戶配置AWS存儲:
在Databricks帳戶控製台中,單擊AWS存儲標簽。
在裏麵<區域>中的S3桶字段,輸入您的S3存儲桶的名稱。有關創建S3存儲桶的幫助,請參閱創建一個水桶在AWS文檔中。
重要的
S3存儲桶必須與Databricks部署在同一區域。
Databricks建議您使用Databricks特定的S3存儲桶作為最佳實踐。
點擊生成策略。
複製生成的策略。它應該是以下形式,在哪裏
414351767826
是Databricks帳戶ID和
是您在第一個屏幕上指定的S3存儲桶:{“版本”:“ 2012-10-17”,,,,“陳述”:[[{“席德”:“授予Databricks訪問”,,,,“影響”:“允許”,,,,“主要的”:{“ aws”:“ ARN:AWS:IAM :: 414351767826:root”},,“行動”:[[“ S3:getObject”,,,,“ S3:getObjectversion”,,,,“ S3:putobject”,,,,“ S3:DeleteObject”,,,,“ S3:ListBucket”,,,,“ S3:getBucketLocation”],,“資源”:[[“ arn:aws:s3 :::
/*” ,,,,“ arn:aws:s3 :::” 這是給予的}這是給予的}
步驟2:配置S3存儲桶
要配置S3存儲桶,您可以應用數據磁帶帳戶控製台中生成的存儲桶策略,並選擇設置S3對象級記錄(強烈推薦)。
在AWS控製台中,轉到S3服務。
單擊“存儲桶”名稱。
啟用S3對象級記錄(推薦)
Databricks強烈建議您為根存儲桶啟用S3對象級記錄。這可以更快地調查可能出現的任何問題。請注意,S3對象級記錄可以增加AWS使用成本。
有關說明,請參閱AWS文檔在CloudTrail事件上記錄S3存儲庫和對象。