國防部數據法令和Lakehouse之路

在私營企業和政府,數據驅動的決策使得信息的數量和質量的關鍵組織。2018年,美國國會簽署成為法律基礎以證據為基礎的決策行為建立一個框架來使用數據,以便在決策中使用的證據。而最近,2021年5月,美國國防部(DoD)五的律例“創建一個數據優勢”,提高整個部門的數據共享,這將有助於消除數據孤島。根據備忘錄,國防部正確地理解,成為一個“以數據為中心的組織是提高性能的關鍵,創建決策優勢階層從戰場到董事會會議室。”

這五個法規識別數據的重要性作為戰略資產,旨在幫助國防部圍繞數據工程和分析,構建功能一樣重要的國家安全的任何武器係統。沒有良好的數據和策略數據管理、工程和安全,國防部可能落後的關鍵指揮和控製數據。

國防部的五個數據的律例

隨著數據的增長在政府,許多壞模式可以出現如果有不小心關注管理。孤立的數據在數據庫中是否導致共享挑戰,或應用數據質量不確定的決策,沒有明確的治理模式貧困數據實踐和將激增。國防部數據法令旨在減少這些負麵的場景。

五個法規如下:

• 最大化數據共享數據使用和權利:國防部所有數據是一個企業的資源。
• 在美國國防部發布的數據資產聯邦數據目錄隨著公共接口規範。
• 使用自動化的外部和機器可讀的數據接口;確保接口使用行業標準,非專有,最好是開源的,技術、協議和有效載荷。
• 存儲數據的方式是平台和environment-agnosticBeplay体育安卓版本,非耦合從硬件或軟件依賴關係。
• 實現行業的最佳實踐安全認證、訪問管理,加密監測和保護靜止數據,在運輸和使用。

會議的原則的律例

磚Lakehouse平台Beplay体育安卓版本滿足每一個備忘錄描述的原則相結合的最佳元素數據倉庫和數據提供強大的數據治理湖泊與數據倉庫的性能。

子:數據共享和目錄

雖然國防部已經從一個“需要知道”的安全基礎,隻授予那些數據的訪問是必要的一個進行公務——“需要共享”的方法,促進更廣泛的部門和機構之間的數據共享,各機構之間的共享數據可能是一個挑戰和風險與遺留工具,使擴散的數據副本。數據共享可以提高信息收集部門內,方便更好的合作盟友。然而,未加密的傳統技術,比如FTP,使它具有挑戰性的容易和安全地共享數據。擁有技術,轉發數據共享在一個安全的、開放的時尚是這個租戶的關鍵。

磚的統一目錄滿足數據目錄的宗旨和提供了一個單用戶界麵發現,審計,提供血統,和治理數據資產在一個地方。的一些功能包括添加角色的能力和基礎保障和元數據,例如標簽列或表,使數據更加可識別和安全。統一目錄還提供了一個接口,構建在開源三角洲共享協議管理和管理組織內共享資產。這允許您在聯邦國防部發表數據資產目錄,以及常見的接口規範。

這些指導原則的目的是獲取數據的封閉係統,無法輕易共享在國防部。原則3和4組直接向現代數據平台數據磚,允許數據被存儲在低成本的基於對象的存儲,並分開計算。Beplay体育安卓版本這允許靈活地選擇你的計算層,更重要的是,允許更容易共享的數據比鎖在機構和部門的高牆內專有的數據庫。

子:使用開源技術,從計算分開存儲

通過移動數據的專有數據庫,需要提取並加載到另一個係統——湖和成一個數據模型,在國防部內共享數據成為一個更容易的任務。雖然總是有很多數據引力涉及pb和eb的數據後,現代存儲使得更容易分享。

傳統上,分析、商業智能、數據科學和機器學習的工作負載是獨立的係統,創建組織組織內筒倉。數據lakehouse架構,你把所有這些工具在磚的一個開放的係統。

磚的國防部

磚平台是建立在開源三角洲湖存儲Beplay体育安卓版本平台,將可靠性、安全性和性能數據湖流和批處理工作負載。這提供了一個位置,您可以在其中存儲結構化數據,如CSV文件,像JSON或XML半結構化數據和非結構化文件像視頻和音頻。三角洲湖,由磚一個開源項目,提供了單一來源的事實並提供事務支持和執行模式,許多湖泊和其他大數據平台所缺乏的。Beplay体育安卓版本

磚還提供了一個界麵來管理訪問這些數據資產的目錄。雲的支持,除了多磚實現最佳實踐安全認證,訪問管理和數據保護,滿足高要求的聯邦法規遵循協議的白細胞介素6 FedRamp-High和國防部等。

使轉變

使組織轉向更開放的數據可以組織上和技術上的挑戰。然而,這種轉變很容易被廣泛的組織支持。磚可以幫助國防部滿足這些目標和支持更好的數據共享整個部門在以下方麵:

1. 允許更好的數據訪問和數據共享在國防部關鍵數據資產。
2. 聯合數據資產的目錄,可以在整個組織。
3. 磚是建立在強大的開放源碼技術如Apache火花™和三角洲湖。
4. 解耦存儲計算允許大量的靈活性的用於數據分析的工具,並減少數據引力。
5. 磚是由強大的安全控製,達到最高級別的國防部標準。

學習更多關於磚允許國防部創建一個數據的優勢,訪問我們的聯邦政府的解決方案頁麵。