建立一個網絡安全Lakehouse CrowdStrike獵鷹事件

通過Aemro阿瑪雷,阿倫Pamulapati,永盛黃和傑森·波爾

2021年5月20日在Beplay体育安卓版本平台的博客

分享這篇文章

現在開始你自己的磚部署和運行這些筆記本電腦。

端點數據安全團隊所需的威脅檢測,威脅狩獵,事故調查和滿足合規要求。數據量可以tb每天或每年pb。大多數組織難以收集、存儲和分析端點日誌,因為與這些大量數據相關聯的成本和複雜性。但這並不一定是這樣。

在這兩個部分博客係列,我們將討論如何實施pb級的端點數據與磚與高級分析改善安全狀況,以成本有效的方式。本博客)(第1部分將涵蓋數據收集和集成的體係結構與SIEM (Splunk)。年底這個博客提供筆記本電腦你可以使用數據進行分析。第2部分將討論特定的用例,如何創建毫升模型和自動化的充實和分析。在第2部分,您將能夠實現檢測和調查威脅的筆記本使用終點數據。

我們將使用Crowdstrike的獵鷹日誌我們的例子。訪問獵鷹日誌,可以使用“獵鷹”數據複製因子(羅斯福)將原始事件數據從CrowdStrike Amazon S3等雲存儲平台。Beplay体育安卓版本這些數據可攝入、轉換、分析和存儲使用磚Lakehouse平台與其他安全遙測。Beplay体育安卓版本beplay体育app下载地址客戶可以攝取CrowdStrike獵鷹數據,應用麵向實時檢測,與磚SQL的搜索曆史數據,查詢從SIEM工具如Splunk Splunk磚插件。

Crowdstrike實施數據的挑戰

盡管Crowdstrike獵鷹數據提供全麵的事件日誌記錄的細節,這是一個艱巨的任務來攝取,流程和實施複雜,大量的網絡安全數據實時基礎上符合成本效益的方式。這些都是一些著名的挑戰:

實時數據攝入規模:很難跟蹤處理和未經處理的原始數據文件,由羅斯福寫在近乎實時的雲存儲。
複雜的轉換:格式是半結構化的數據。每個日誌文件的每一行包含數百個underministically不同類型的負載,和事件數據的結構可以隨時間變化的。
數據治理:這種類型的數據可以敏感,必須封閉和訪問隻需要它的用戶。
簡化安全分析端到端:可伸縮的工具都需要做數據工程,MLand分析這些快速和高容量的數據集。
合作:有效的協作可以利用專業知識從數據工程師、網絡安全分析師和ML工程師。因此,擁有一個協作的平台提高網beBeplay体育安卓版本12;lay娱乐ios絡安全分析的效率和響應工作負載。

因此,安全工程師在企業發現自己在一個困難的情況下努力管理成本和運營效率。他們要麼不得不接受被鎖到非常昂貴的專有係統或花費巨大的努力建立自己的端點安全工具而爭取可伸縮性和性能。

磚網絡安全lakehouse

磚提供安全團隊和數據科學家的一個新的希望有效地執行他們的工作,以及一套工具來應對不斷增長的大數據挑戰和複雜的威脅。

Lakehouse,一個開放的體係結構,結合湖泊和數據倉庫數據的最佳元素,簡化了構建一種數據工程管道逐步增加了結構的數據。一種架構的好處是數據工程師可以建造管道,始於原始數據作為“單一來源的真相”的所有流動。Crowstrike半結構化的原始數據可以存儲多年,和隨後的轉換和聚合可以做在一個端到端的流媒體方式提煉數據,引入上下文特定的結構分析和檢測安全風險在不同的場景中。

數據攝取:自動裝卸機(AWS|Azure|GCP)幫助立即讀取數據盡快編寫一個新文件Crowdstrike羅斯福到原始數據存儲。它利用雲通知服務逐步過程到達雲的新文件。自動裝卸機也自動配置和聽新文件和通知服務可以擴大每秒數以百萬計的文件。
統一的流和批處理:三角洲湖是一個開放的方法將數據管理和數據治理湖泊,利用Apache火花的™分布式計算大量的數據和元數據。磚的三角洲引擎是一個高度優化的引擎,每秒可以處理數百萬條記錄。
數據治理:與磚表訪問控製(AWS|Azure|GCP),管理員可以授予不同級別的訪問權限三角洲表根據用戶的業務功能。
安全分析工具:磚的SQL有助於創建一個交互式儀表板與自動報警當檢測到不尋常的模式。同樣,它可以很容易地集成highly-adopted BI工具如表、微軟權力BI和美人。
磚筆記本的合作:磚協作筆記本beplay娱乐ios啟用安全團隊合作。多個用戶可以在多種語言中運行查詢,共享可視化,使評論在同一個工作區沒有打擾的繼續調查。

Lakehouse Crowdstrike獵鷹數據架構

我們建議以下lakehouse網絡安全架構的工作負載,比如Crowdstrike獵鷹數據。自動裝卸機和三角洲湖簡化從雲存儲讀取原始數據的過程和寫作以低成本和最小DevOps三角洲表工作。

在此體係結構中,半結構化Crowdstrike數據加載到客戶的雲存儲在著陸區。然後自動裝卸機使用雲服務通知自動觸發新文件的處理和攝入到客戶的青銅表,這將作為真理的單一來源為所有下遊工作。自動裝卸機將跟蹤和加工使用檢查點文件,以防止重複的數據處理。

當我們從bronze-to-silver階段,模式將被添加到提供的數據結構。因為我們正在閱讀單一來源的真理,我們能夠處理所有不同的事件類型和實施正確的模式寫各自的表。在銀層的能力執行模式提供了一個堅實的基礎來構建毫升和分析工作量。

的黃金階段,總量數據更快的查詢和性能在儀表盤和BI工具,是可選的,根據用例和數據量。警報可以設置觸發當意想不到的趨勢。

另一個可選的特性磚的附加Splunk,它允許安全團隊利用磚的成本效益模型和人工智能的力量,而無需離開Splunk的舒適。beplay体育app下载地址客戶可以從內部運行專用查詢數據磚Splunk儀表板或搜索欄插件。用戶還可以在磚推出筆記本或者工作通過Splunk儀表板或響應Splunk搜索。磚集成是雙向的,讓客戶總結嘈雜的數據或運行檢測出現在Splunk企業安全的磚。beplay体育app下载地址beplay体育app下载地址顧客甚至可以運行Splunk搜索從磚筆記本,防止重複數據的需要。

Splunk和磚集成允許客戶降低成本,擴大數據來源分析,提供一種更健壯的分析引擎的結果,沒beplay体育app下载地址有改變員工日常使用的工具。

代碼走查

自動裝卸機摘要以來最複雜的基於文件的數據攝入的一部分,raw-to-bronze攝入管道可以創建幾行代碼。下麵是一個Scala代碼示例三角洲攝入管道。Crowdstrike獵鷹事件記錄有一個共同的字段名:“event_simpleName。”

val crowdstrikeStream = spark.readStream.format (“cloudFiles”).option (“cloudFiles.format”,“文本”)/ /文本文件不需要模式.option (“cloudFiles.region”,“us-west-2”).option (“cloudFiles.useNotifications”,“真正的”).load (rawDataSource).withColumn (“load_timestamp”current_timestamp ()).withColumn (“load_date”to_date(美元)“load_timestamp”)).withColumn (“eventType”from_json(美元)“價值”,“結構”,地圖空虛(字符串,字符串])).selectExpr (“eventType.event_simpleName”,“load_date”,“load_timestamp”,“價值”).writeStream.format (“δ”).option (“checkpointLocation”checkPointLocation).table (“demo_bronze.crowdstrike”)

在raw-to-bronze層,隻有事件叫從原始數據中提取。通過添加一個負載日期和時間戳列,用戶原始數據存儲到銅表。銅表分區的事件名稱和裝載日期,這有助於使bronze-to-silver工作更好的性能,特別是當興趣有限數量的事件日期範圍。

接下來,bronze-to-silver流工作從一個青銅表讀取事件,執行模式和寫幾百個事件表基於事件的名稱。下麵是一個Scala代碼示例:

火花.readStream.option (“ignoreChanges”,“真正的”).option (“maxBytesPerTrigger”、“2 g”).option (“maxFilesPerTrigger”、“64”).format(“δ”).load (bronzeTableLocation)。過濾器(美元“event_simpleName”===“event_name”)from_json .withColumn(“事件”(“價值”美元,schema_of_json (sampleJson)))。選擇($”事件。*”、“load_timestamp”,“美元load_date”).withColumn (“silver_timestamp”,current_timestamp()).writeStream.format(“δ”).outputMode(“追加”).option (“mergeSchema”,“真正的”).option (“checkpointLocation檢查點)tableLocation .option(“路徑”)。開始()

每個事件模式可以存儲在一個注冊中心或在三角洲表模式需要跨多個數據驅動的共享服務。請注意,上麵的代碼使用了一個示例json字符串從青銅讀取表,和推斷從json使用的模式schema_of_json()。之後,使用json字符串轉換為一個結構體from_json()。然後,struct夷為平地,促使添加一個時間戳列。這些步驟提供一個與所需的所有列dataframe附加到事件表。最後,我們把這個結構化數據用附加到事件表模式。

也可以扇出事件與一個流與多個表foreachBatch通過定義一個函數,它將處理microbatches。使用foreachBatch(),可以重用現有的過濾和批處理數據源編寫多個表。然而,foreachBatch()隻提供“至少一次”寫擔保。所以,需要手動實現執行僅一次語義。

在這個階段,任何的結構化數據可以查詢語言支持磚筆記本和工作:Python, R, Scala和SQL。毫升的銀層數據方便使用和網絡攻擊分析。

下一個流管道將白銀和黃金。在這個階段,可以聚合數據儀表盤和報警。在這個博客係列的第二部分中我們將提供更多的洞察如何使用磚SQL構建儀表盤。