安全最佳實踐為三角洲共享

的數據lakehouse使我們鞏固我們的數據管理體係結構,消除筒倉和利用一個共同的平台,所有用例。Beplay体育安卓版本統一的數據倉庫和AI用例在單個平台組織來說是一個巨大的進步,但一旦邁出這一步,要考慮下一個問題是“我們如何共享數據簡單地和安全地不Beplay体育安卓版本管客戶端,工具或平台接收者使用訪問嗎?”Luckily, thelakehouse有一個回答這個問題:數據共享與δ共享。

三角洲分享

三角洲分享是世界上第一個嗎開放的協議安全地共享實時數據內部和跨組織,獨立的平台數據駐留的地方。Beplay体育安卓版本這是一個關鍵組成部分的開放lakehouse架構,組織的重要推動者,我們團隊和數據訪問模式的方式,這在以前是沒有的,如數據網格。

安全的設計

重要的是要注意,三角洲分享已建成的與安全,允許您利用以下的開箱即用的特性是否使用開源版本或其托管等效:

• 端到端TLS加密從客戶端到服務器存儲賬戶
• 短暫的憑證如pre-signed url來訪問數據
• 輕鬆管理、跟蹤和審計訪問你通過共享數據集統一目錄

的最佳實踐,我們將分享作為這個博客是添加劑的一部分,允許顧客調整適當的安全控製風險和敏感的數據。beplay体育app下载地址

安全最佳實踐

我們使用的最佳實踐建議三角洲分享分享敏感數據如下:

1. 評估開源與托管版本基於您的需求
2. 設置適當的接收者牌每metastore一生
3. 建立一個旋轉的過程憑證
4. 考慮正確的粒度級別股票,接受者和分區
5. 配置IP訪問列表
6. 配置數據磚審計日誌記錄
7. 配置網絡限製存儲賬戶(年代)
8. 配置登錄存儲賬戶(年代)

1。評估開源兌版本管理根據你的要求

我們建立了上麵,三角洲分享從頭構建了安全思想。然而,使用有好處版本管理:

• 磚是由三角洲共享統一目錄,它允許您提供細粒度訪問任何數據集之間不同的用戶從一個地方集中。開源版本,你需要單獨的數據集,各種數據的訪問權限和共享服務器,幾張,你也需要訪問限製強加於這些服務器和底層存儲賬戶。為便於部署碼頭工人形象是提供的開源版本,但重要的是要注意,擴展部署在大型企業將構成一個非平凡的開銷團隊負責管理他們。
• 就像其他的磚Lakehouse平Beplay体育安卓版本台,統一目錄作為管理服務提供。你不需要擔心諸如可用性、運行和維護的服務,因為我們為你擔心。
• 統一目錄允許您配置全麵的審計日誌記錄功能。
• 數據所有者將能夠管理股票使用SQL語法。此外,REST api管理股票是可用的。使用熟悉的SQL語法簡化了我們共享數據的方式,減少行政負擔。
• 使用開放源碼的版本,你負責配置,基礎設施和管理的數據共享,但管理版本所有可用此功能開箱即用的。

由於這些原因,我們建議評估兩個版本和根據您的需求做出決定。如果易於設置和使用、開箱即用的治理和審計、和外包服務管理是重要的,管理的版本可能是正確的選擇。

2。設置適當的接收者牌每metastore一生

當你使三角洲分享,你為收件人配置令牌一生憑證。如果你設置令牌一生為0,收件人標記永遠不會過期。

設置適當的象征性的一生是至關重要的監管合規和聲譽的角度來看。有一個令牌,永遠不會過期,是一個巨大的風險;因此,建議使用短暫的令牌作為最佳實踐。更容易給予一個新的令牌接受者的令牌過期了要比調查使用令牌的一生已經設置不當。

看到文檔(AWS,Azure)配置令牌到期後適當的秒數分鍾、數小時或數天。

3所示。建立一個旋轉的過程憑證

有很多原因,你可能想要旋轉的憑證,到期的現有的令牌,擔心證書可能已遭泄露,甚至是你修改了象征性的一生,想要發行新證書過期時間的尊重。

確保這樣的請求是可預測和及時滿足,重要的是要建立一個過程,最好建立SLA。這可以集成到你的IT服務管理過程中,通過適當的行動完成業主指定的數據,數據管理員或DBA metastore。

看到文檔(AWS,Azure)如何旋轉憑證。特別是:

• 如果你需要立即旋轉憑據,集——existing-token-expire-in-seconds來0,現有的令牌將立即失效。
• 磚推薦以下操作時有人擔心證書可能已遭泄露:
  1. 撤銷收件人的訪問。
  2. 收件人和設置旋轉——existing-token-expire-in-seconds來0這令牌失效後立即。
  3. 與預期的接收者分享新激活鏈接在一個安全的通道。
  4. 激活的URL訪問後,格蘭特接收者訪問再次分享。

4所示。考慮正確的粒度級別股票,接受者和分區

在版本管理,每股可以包含一個或多個表,可以與一個或多個收件人,使用細粒度的控製管理誰或者訪問多個數據集的方法。這使我們能夠提供細粒度訪問多個數據集的方式將更加難以實現開源一個人。我們甚至可以比這更進一步,僅僅增加一個表的一部分分享通過提供一個分區規範(見文檔AWS,Azure)。

值得利用這些特性通過實現你的股票和接受者遵循最小特權原則,這樣,如果接收方證書被盜,它與最少數量的數據集或者數據的最小子集。

5。配置IP訪問列表

默認情況下,所有需要訪問你的股票是一個有效的三角洲共享憑證文件,因此它是至關重要的減少的可能性,實現網絡級證書可能被限製,他們可以使用。

配置三角洲共享IP訪問列表(參見文檔AWS,Azure)來限製收件人訪問可信IP地址,例如,企業的公共IP VPN。

結合IP訪問列表的訪問令牌大大減少了未授權訪問的風險。人以未經授權的方式訪問數據,他們需要獲得一份你的令牌和在相同的授權網絡比僅僅獲得令牌本身更加困難。

6。配置數據磚審計日誌記錄

審計日誌是你的權威發生了什麼在你的記錄磚Lakehouse平台Beplay体育安卓版本,包括所有相關的活動三角洲分享。因此,我們強烈建議你配置數據磚審計日誌對於每個雲(見文檔AWS,Azure),建立自動化的管道來處理這些日誌和監控/警報在重要事件。

看看我們的同伴的博客,監控你的磚Lakehouse平台與審計日誌Beplay体育安卓版本更深層次的潛水在這個問題上,包括您需要設置的所有代碼三角洲生活表管道、配置磚的SQL警報和運行SQL查詢回答重要問題:

• δ是最受歡迎的股票?
• δ股票被訪問是哪個國家的?
• δ共享創建收件人沒有IP訪問列表限製被應用?
• δ收件人創建共享IP訪問列表限製哪些是我忠實的IP地址範圍之外的?
• 試圖訪問我的三角洲股票失敗IP訪問列表限製嗎?
• 試圖訪問我的δ股價反複失敗的認證?

7所示。配置網絡限製存儲賬戶(年代)

一次三角洲共享請求已成功通過共享服務器身份驗證,短暫的數組憑證生成並返回給客戶端。然後客戶端使用這些url請求直接從雲提供商的相關文件。這個設計意味著轉移可以發生在平行巨大帶寬,沒有流結果通過服務器。這也意味著從安全的角度來看,你可能會想要實現類似的網絡限製存儲賬戶三角洲分享接受者本身——沒必要保護分享在收件人級別,如果數據本身駐留在一個存儲帳戶可以訪問的任何人,任何地方。

Azure

在Azure,磚推薦使用身份管理(目前在公共預覽版)訪問底層存儲賬戶代表統一目錄。beplay体育app下载地址用戶可以配置存儲防火牆限製所有其他訪問可信私人端點,虛擬網絡或公共IP範圍,三角洲共享客戶可以使用訪問數據。請伸出你的磚代表的更多的信息。

重要提示:再一次,重要的是要考慮所有可能的用例在確定哪些網絡應用水平的限製。例如,以及通過三角洲共享訪問數據,很可能一個或多個磚工作區也將需要訪問數據,因此你應該允許訪問有關信任的私人端點,虛擬網絡或公共IP範圍使用的工作區。

AWS

在AWS,磚推薦使用S3 bucket的政策限製訪問S3 bucket。例如,下麵的否認聲明可以被用來限製對可信IP地址和vpc的訪問。

重要提示:重要的是要考慮所有可能的用例在確定哪些網絡應用水平的限製。例如:

• 當使用托管版本,生成的pre-signed url統一目錄,因此您需要允許訪問的磚控製平麵的NAT IP的地區。
• 很可能一個或多個磚工作區也將需要訪問數據,因此你應該允許訪問有關VPC IDs如果底層S3 bucket是在同一地區和你使用VPC端點連接到S3或者數據平麵交通的公共IP地址解析為(例如通過NAT網關)。
• 從公司網絡內避免失去連接,磚建議總是從至少一個已知和允許訪問可信IP地址,如企業的公共IP VPN。這是因為否認條件應用即使在AWS控製台。

{“版本”:“2012-10-17”,“聲明”:【{“席德”:“DenyAccessFromUntrustedNetworks”,“效應”:“否認”,“校長”:“*”,“行動”:“s3: *”,“資源”:【“攻擊:aws: s3::: <桶>”,“攻擊:aws: s3::: <桶> / *”),“條件”:{“NotIpAddressIfExists”:{“aws: SourceIp”:【“< databricks_nat_ip >”,“< other-allowed-ip >”,“< other-allowed-ip >”]},“StringNotEqualsIfExists”:{“aws: SourceVpc”:【“< allowed_vpc_id >”,“< allowed_vpc_id >”]}}}]}</ allowed_vpc_id > < /allowed_vpc_id > </ other-allowed-ip > < /other-allowed-ip > </ databricks_nat_ip > < /桶桶> < / >

除了網絡級限製,也建議你限製訪問底層S3 bucket我所使用的角色統一目錄。原因是:正如我們所見,統一目錄提供細粒度訪問您的數據,是不可能提供的粗粒度權限AWS我/ S3。因此,如果有人能夠直接訪問S3 bucket可以繞過這些細粒度的權限和訪問更多的比你預期的數據。

重要提示:如上所述,否認條件應用即使在AWS控製台,所以建議您也允許訪問管理員角色,少數特權用戶可以使用它來訪問UI / AWS api。

{“席德”:“DenyActionsFromUntrustedPrincipals”,“效應”:“否認”,“校長”:“*”,“行動”:“s3: *”,“資源”:【“攻擊:aws: s3::: <桶>”,“攻擊:aws: s3::: <桶> / *”),“條件”:{“StringNotEqualsIfExists”:{“aws: PrincipalArn”:【“< uc_iam_role_arn >”,“< aws_admin_iam_role_arn >”]}}}</ aws_admin_iam_role_arn > < / uc_iam_role_arn > </桶> < /桶>

8。配置登錄存儲賬戶(年代)

除了執行網絡級限製底層存儲賬戶(s),你可能想要監控是否有人試圖繞過他們。因此,磚建議:

• 設置S3服務器訪問日誌在AWS和適當的監控和報警
• 設置診斷日誌記錄在Azure,以及適當的監控和報警

結論

的lakehouse解決了大部分的數據管理問題,導致我們有分散的數據架構和訪問模式,嚴重扼殺了時間價值一個組織可能希望看到的數據。現在,數據從這些問題,團隊已經被釋放開放但安全的數據共享已經成為了下一個前沿。

三角洲分享是世界上第一個嗎開放的協議安全地共享實時數據內部和跨組織,獨立的平台數據駐留的地方。Beplay体育安卓版本並利用三角洲分享結合上述最佳實踐,組織很容易但安全地交換數據和他們的用戶,在企業範圍內合作夥伴和客戶。beplay体育app下载地址

現有數據市場未能業務價值最大化數據提供者和數據使用者,但是磚的市場您可以利用磚Lakehouse平台達到更多的客戶,降低成本,提供更多的價值在你所有的Beplay体育安卓版本數據產品。beplay体育app下载地址

如果你有興趣成為一個數據提供商的合作夥伴,我們很樂意收到你的信!