跳轉到主要內容
公司博客上

介紹磚AWS我憑據透傳

西爾維奧•Fiorito
格雷格•歐文
通過西爾維奧•Fiorito和格雷格•歐文

2019年3月26日 在公司博客上

分享這篇文章

隨著越來越多的移動到雲計算的分析,客戶麵臨的挑戰是如何控製哪些用戶可以訪問哪些數據。beplay体育app下载地址像AWS雲提供商提供一組豐富的功能等身份和訪問管理(我)我的用戶,角色,和政策。這些特性讓客戶安全管理訪問敏感數據。beplay体育app下载地址

挑戰與雲中的身份和訪問管理分析

我們看到許多AWS用戶試圖解決這beplay体育app下载地址個挑戰使用的組合我的角色和我實例配置文件或硬編碼我憑證。beplay体育app下载地址客戶使用政策控製對數據的訪問S3或者其他AWS資源,比如運動,SQS等等。他們然後使用實例配置文件通過我的角色信息EC2實例。這使他們把一個數據訪問政策和EC2實例上啟動。

有一些挑戰和限製這些選項,但是:

  1. EC2實例隻能分配一個單獨的實例配置文件。這需要客戶運行不同的EC2實beplay体育app下载地址例都有不同的角色和訪問控製來訪問多個數據集,從而增加複雜性和成本
  2. 是否使用實例配置文件或硬編碼我憑證,用戶在一個EC2實例共享相同的身份訪問資源時,所以用戶級訪問控製不可能和沒有審計跟蹤的用戶從一個EC2實例訪問什麼,雲路等進行日誌記錄。
  3. 實例配置文件和我憑證一定映射到企業身份管理係統的訪問策略,如LDAP或活動目錄組,需要一套新的總經理權利在不同的係統

為了解決這些局限性,我們看到一些客戶轉向遺留或雲本機工具代理訪問S3等雲存儲。beplay体育app下载地址這些工具沒有設計時考慮到雲存儲和在某些情況下可能需要自定義擴展到Apache火花支持有限的格式或表現不佳。這地方額外操作負擔客戶為了管理一組新的服務和津貼和否定的可伸縮性,低成本,低直接使用S3。磚的客戶,這些工具也可能影響磚beplay体育app下载地址的可用性和功能我們提供運行時等DBIO和δ。

當我們開始設計一個解決方案,我們的首要任務是整合與AWS的身份和訪問提供本地服務。特別是,我們的重點是杠杆AWS聯合身份驗證和SAML單點登錄(SSO)。鑒於磚已經支持SAML SSO,這是最無縫選擇在客戶集中的數據訪問在身份提供者(IdP)和有權利直接傳遞給磚集群上運行的代碼。beplay体育app下载地址

集中在身份提供者數據訪問

  1. 首先,客戶配置之間的信任關係他們的國內流離失所者和AWS帳戶為了控製哪些角色用戶可以假設的國內流離失所者
  2. 用戶登錄數據磚通過SAML SSO,角色通過的國內流離失所者的權利
  3. 磚調用AWS安全令牌服務(STS)和假定的角色用戶通過SAML響應和臨時令牌
  4. 當用戶訪問S3從集群磚,磚的臨時令牌運行時使用的用戶執行訪問自動和安全

我與磚憑據透傳

為了使用我憑證透傳,客戶之間第一次啟用所需的集成他們的國內流離失所者和AWS帳戶,必須為beplay体育app下载地址磚配置SAML SSO。其餘由國內流離失所者和磚直接管理,比如什麼角色用戶有權限使用AWS的或獲取臨時令牌。

為了使用聯邦角色,一個新的集群配置可以被稱為“憑證透傳”。

透傳在高並發集群可以安全地支持多個用戶使用不同的憑證,運行Python和SQL。這些語言,我們可以在一個孤立運行用戶代碼,低權限過程之外的Java虛擬機,火花執行。Scala, R,或更高級的場景,需要完全控製環境,標準的集群也支持單個用戶。

新的API專門為聯邦角色可供用戶的一部分DBUtils。首先,用戶可以通過調用dbutils.credentials.showRoles可用的角色列表

假設一個特定的角色,dbutils.credentials.assumeRole用戶調用

從那時起,任何S3訪問在這個筆記本將使用所選的角色。如果一個用戶沒有明確假設一個角色,那麼集群將使用列表中的第一個角色。

在某些情況下,用戶可能需要分析多個數據集,需要不同的角色。為了使角色選擇透明,桶支架可以使用:

dbutils.fs.mount (“s3a://磚- - - - - -演示- - - - - -數據- - - - - -我們- - - - - -東1/數據/敏感的”,”/mnt/敏感的- - - - - -數據”,extra_configs={“fs.s3a。credentialsType”:“自定義”,“fs.s3a.credentialsType。customClass”:“com.databricks.backend.daemon.driver.aws.AwsCredentialContextTokenProvider”,“fs.s3a.stsAssumeRole。在攻擊”:“在攻擊:aws:我::997123456789:角色/敏感的- - - - - -數據- - - - - -角色”})
              dbutils.fs.mount (“s3a://磚- - - - - -演示- - - - - -數據- - - - - -我們- - - - - -東1/數據/人力資源”,”/mnt/人力資源- - - - - -數據”,extra_configs={“fs.s3a。credentialsType”:“自定義”,“fs.s3a.credentialsType。customClass”:“com.databricks.backend.daemon.driver.aws.AwsCredentialContextTokenProvider”,“fs.s3a.stsAssumeRole。在攻擊”:“在攻擊:aws:我::997123456789:角色/人力資源- - - - - -數據- - - - - -角色”})

定義了桶安裝後,用戶可以參考DBFS路徑無需選擇任何角色。不能承擔角色的用戶指定的掛載點將無法訪問掛載點。這也使得加入跨數據集需要不同的角色,讓終端用戶的無縫體驗。

因為聯邦角色惟一標識用戶,它允許更強大的數據訪問控製S3。一個例子是定義“主目錄在S3,讓用戶將數據保存到私人的位置隻能通過所有者。這是有可能的,盡管用戶可以共享相同的我的角色,甚至相同的集群。

https://www.youtube.com/watch?v=pqi1PgqragM

自認為角色識別個人用戶,審核現在可以通過啟用S3對象日誌記錄通過雲路。所有S3訪問通過攻擊將直接綁定到用戶在雲記錄日誌。

結論

新的我憑證透傳功能,我們引入更多強大的數據訪問控製集成平台直接與您的企業身份。Beplay体育安卓版本它提供無縫的訪問控製你的數據不丟失的可靠性、可伸縮性和低成本的S3。與磚處理隔離你仍然可以安全地共享火花集群資源的效率,而無需額外的工具在您的環境中進行管理。你可以放心地讓你的分析師、數據科學家,工程師和數據使用磚統一分析平台的強大功能,同時保持你的數據安全!Beplay体育安卓版本我憑證透傳是私下裏預覽現在,如果你想知道更多請聯係磚的代表。

免費試著磚
開始
看到所有公司博客上的帖子
Baidu
map