網絡安全在多個雲的時代和地區

在2021年,超過四分之三的企業基礎設施多個雲。這一趨勢絲毫沒有放緩的跡象與混合在家工作的政策和企業需要多樣化的風險過度依賴一個雲提供商(如。OSFI第三方風險管理指南)。即使在一個雲提供商,大多數企業有意在多個區域基礎設施災難恢複和數據主權合規。

如果你是一個信息安全領導,你好監測和保護在多個雲基礎設施和地區?如果你是一個工程或產品領導者構建安全產品和服務,如何支持多個雲和地區沒有增加您的代碼庫和開發過程的複雜度?如果你是一個托管安全服務提供商,你如何獲得規模經濟,同時尊重各種客戶數據隔離政策和界限?

一種選擇是使用在每個雲和地區SIEM解決方案。另一個選擇是所有的日誌合並到單個SIEM解決方案在一個雲,一個地區。第一個選項有尊重數據主權製度的優勢,但有以下問題:

• SIEM解決方案必須支持在每個雲提供商——很少有SIEM真正多重雲以這種方式。
• devops團隊管理的許多實例SIEM解決方案——一個在每個雲,地區。如果您使用的是不同的原生雲SIEM解決方案在不同的雲環境中,devops的努力變得更具挑戰性!

第二個選項簡化了devops努力,但是會有一組不同的挑戰:

• 安全日誌的(如。AWS cloudtrails)和鞏固日誌一個位置將導致出口成本高(見每個雲供應商數據轉移定價)
• 日誌數據整合可能會違反規定一些地區數據主權。

必須有一個更好的方法。

多重雲,多區網絡安全lakehouses

為多個雲網絡安全體係結構和地區。

磚Lakehouse平台可用於建立一個聯合網絡安全Beplay体育安卓版本Lakehouse讓你:

• 保持安全數據在雲中原產地和地區限製出口成本同時給予SOC分析師和威脅獵人一個統一的視圖來組織所有的數據
• 最小化devops努力:使用磚管理服務,而不是在每個雲安全解決方案不同
• 尊重主權法規和數據實習要求:磚提供細粒度訪問控製的聯邦數據表和字段
• 執行聯邦威脅檢測或狩獵查詢所有的數據從一個接口在每個雲和地區,出口成本將發生僅供查詢結果
• 存儲你的數據在一個開放的雲對象存儲在低成本和高性能的格式(AWS S3, Azure ADLS,穀歌雲存儲)

這個博客將向您展示如何。

設立聯邦lakehouses的概述

在每個雲區域,係統管理員將需要:

1. 提供一個磚工作區
2. 配置您的現有安全數據收集基礎設施出口數據雲存儲或消息總線係統就像卡夫卡或事件中心。
3. 攝取日誌到磚工作區。使用磚從原始管道創建表的數據的安全文件。
4. (可選的)執行轉換使用三角洲住表或extract-load-transform(英語教學)您所選擇的工具。這包括任何自動化威脅檢測邏輯創建警報或打表。
5. 配置訪問控製策略表的聯邦。
6. 創建服務帳戶/本金和相關的個人訪問令牌(PAT)用於聯邦查詢。

一個磚工作區(今後“主要”工作區)是用於配置的安全應用程序和工具打獵和/或事件反應的威脅。在這個主要工作區,係統管理員將需要:

1. 創建外部JDBC / ODBC表每個遠程表聯合
2. 創建任意視圖(外部)JDBC表
3. 配置JDBC的訪問控製策略表和相關的視圖

一旦係統管理員設置JDBC表和相關的視圖在主磚工作區,磚的用戶具有合適權限的用戶能夠使用磚SQL查詢聯邦數據,筆記本,儀表板,JDBC / ODBC API,和其他API。

讓我們深入的關鍵細節的例子。

創建JDBC表

假設我們有三個工作區三雲環境或地區聯合:

1. demo-aws-useast.www.eheci.com(主要或司機的工作空間)
2. demo-aws-europe.www.eheci.com
3. demo-azure.databricks.net。

進一步假設您已經運行02 _ioc_matching筆記本的國際奧委會匹配解決方案加速器創建並填充iochits表的三個工作區。對於本例,您想聯合iochits表。

你需要的JDBC URL和個人訪問令牌(PAT)兩個遠程工作區配置JDBC表。其餘的步驟執行在主工作區使用集群安裝了JDBC驅動程序(安裝說明所提供的筆記本)。注意,最佳實踐是存儲的帕特磚的秘密穹窿。收集這些信息之後,可以使用以下命令創建JDBC表:

下降表如果存在ioc_matching_lipyeow_lim.iochits_aws_europe;創建表ioc_matching_lipyeow_lim.iochits_aws_europe使用org.apache.spark.sql.jdbc選項(url“jdbc:磚:/ / demo-aws-europe.www.eheci.com: 443; httpPath = sql / protocolv1 / o / 2556758628403379/0730 - 172948 runts698;運輸方式= http; ssl = 1; AuthMech = 3; UseNativeQuery = 0; UID =令牌;PWD =[編輯]',數據表“ioc_matching_lipyeow_lim.iochits”,司機“com.databricks.client.jdbc.Driver”);下降表如果存在ioc_matching_lipyeow_lim.iochits_azure;創建表ioc_matching_lipyeow_lim.iochits_azure使用org.apache.spark.sql.jdbc選項(url“jdbc:磚:/ / demo-azure.databricks.net: 443; httpPath = sql / protocolv1 / o / 5206439413157315/0812 - 164905 tear862;運輸方式= http; ssl = 1; AuthMech = 3; UseNativeQuery = 0; UID =令牌;PWD =[編輯]',數據表“ioc_matching_lipyeow_lim.iochits”,司機“com.databricks.client.jdbc.Driver”);

創建一個union all視圖

創建JDBC表之後,創建一個union all視圖在JDBC和當地表。為什麼我們想要創建一個union all視圖?原因是它抽象了底層JDBC表和提供了一個簡單的用戶界麵平均威脅分析師真的不在乎那表是聯邦。

創建或取代視圖ioc_matching_lipyeow_lim.iochits_federated作為選擇*從ioc_matching_lipyeow_lim.iochits聯盟所有選擇*從ioc_matching_lipyeow_lim.iochits_aws_europe聯盟所有選擇*從ioc_matching_lipyeow_lim.iochits_azure;

請注意,您可能包括一個標識符字符串(例如“aws_europe”,“蔚藍”等)作為一個源表標識符列將顯示的視圖定義視圖中的每一行的源表。

檢查使用順序查詢

這是一個好主意來檢查如果您的JDBC表工作。運行下麵的查詢順序在每個本地和JDBC表的完整性檢查。注意,運行時間。

選擇*從ioc_matching_lipyeow_lim.iochits在哪裏matched_ioc=“192.168.202.75”;選擇*從ioc_matching_lipyeow_lim.iochits_aws_europe在哪裏matched_ioc=“192.168.202.75”;選擇*從ioc_matching_lipyeow_lim.iochits_azure在哪裏matched_ioc=“192.168.202.75”;

聯邦並發查詢

這是我們的努力的製高點。與聯邦union all視圖中,任何人類分析師或任何威脅狩獵應用程序隻需要查詢聯邦視圖以狩獵通過多個雲和多個地區的所有日誌!聯邦查詢將外包給本地和遠程工作區自動合並執行。運行下麵的查詢和記錄運行時間。你應該注意到,運行時間大約是三分之一的順序運行三個查詢你所觀察到的。

選擇*從ioc_matching_lipyeow_lim.iochits_federated在哪裏matched_ioc=“192.168.202.75”;

此外,謂詞或過濾器在底層表會下推到遠程工作空間,所以沒有出口的數據,隻有出口的過濾結果。您可以驗證這一行為通過檢查使用解釋命令查詢計劃。

解釋選擇**從ioc_matching_lipyeow_lim.iochits_federated在哪裏matched_ioc=“192.168.202.75”;==物理計劃==聯盟:- - - - - -*(1)ColumnarToRow:+- - - - - -PhotonResultStage:+- - - - - -PhotonFilter (isnotnull (matched_ioc #480年)和(matched_ioc #480年=192.168.202綜合成績)):+- - - - - -PhotonAdapter:+- - - - - -FileScan鋪ioc_matching_lipyeow_lim.iochits [detection_ts #477年,src #478年,生#479年,matched_ioc #480年,ioc_type #481年批處理:真正的DataFilters: [isnotnull (matched_ioc #480年),(matched_ioc #480年=192.168.202綜合成績)),格式:拚花,地點:PreparedDeltaFileIndex (1路徑)[dbfs:/tmp/ioc_matching/數據/lipyeow.lim@databrickscom/PushedFilters PartitionFilters iochits]: []: [IsNotNull (matched_ioc),等於(matched_ioc,192.168.202綜合成績),ReadSchema:結構體<detection_ts:時間戳src:字符串,原料:字符串,matched_ioc:字符串,ioc_type:字符串>:- - - - - -*(2(numPartitions)掃描JDBCRelation (ioc_matching_lipyeow_lim.iochits)=1]ioc_matching_lipyeow_lim.iochits_aws_europe [detection_ts #143年,src #144年,生#145年,matched_ioc #146年,ioc_type #147年]PushedFilters:(*IsNotNull (matched_ioc),*等於(matched_ioc192.168.202綜合成績),ReadSchema:結構體<detection_ts:時間戳src:字符串,原料:字符串,matched_ioc:字符串,ioc_type:字符串>+- - - - - -*(3(numPartitions)掃描JDBCRelation (ioc_matching_lipyeow_lim.iochits)=1]ioc_matching_lipyeow_lim.iochits_azure [detection_ts #148年,src #149年,生#150年,matched_ioc #151年,ioc_type #152年]PushedFilters:(*IsNotNull (matched_ioc),*等於(matched_ioc192.168.202綜合成績),ReadSchema:結構體<detection_ts:時間戳src:字符串,原料:字符串,matched_ioc:字符串,ioc_type:字符串>[…剪掉)

觀察了謂詞下推到掃描JDBCRelation算子。

數據治理數據主權

這種多重雲的一個重要方麵,多區網絡安全lakehouse是能夠執行聯邦數據主權規則工作區。事實上,有幾個水平,你有能力執行訪問權限:

• 源表或視圖的訪問特權的工作區是聯邦
• JDBC表的訪問權限在主工作區
• union all視圖的訪問特權在主工作區

訪問權限使用磚對象特權並通過SQL grant語句可以配置。這裏有一些小貼士:建議

• 在工作區創建單獨的用戶或服務帳戶是聯邦。然後您可以控製訪問權限表和視圖使用該帳戶。看到磚文檔對象特權。
• 確保JDBC URL與高並發性(HC)集群。注意,JDBC URL與用戶/服務帳戶與帕特和集群。JDBC連接的特權將與帳戶相關的帕特。
• 在主工作區執行訪問權限,您必須確保用戶隻能使用一個高並發性(HC)集群查詢視圖和JDBC表。看到磚文檔集群政策。
• 使用視圖的源/聯邦工作區或麵具訪問控製與保護列信息。JDBC表在主工作區將對創建視圖。看到磚文檔動態視圖功能。

你現在可以試試這個!

你可以嚐試這個多重雲,多區使用的解決方案筆記本電腦作為的一部分提供國際奧委會匹配解決方案加速器。下載筆記本電腦到你的磚工作區。我們很願意和你在一個概念驗證,所以與我們聯係(電子郵件保護)如果你有任何問題。