大獎章架構

一個圖案架構是什麼?

一個大獎章架構是一種數據設計模式用於邏輯上組織數據lakehouse,目標是逐步和逐步提高的結構和質量數據流經每一層的架構(從青銅⇒銀⇒金層表)。圖案結構有時也被稱為“種”架構。

lakehouse架構的好處

• 簡單的數據模型
• 容易理解和實現
• 支持增量ETL
• 可以在任何時候重新創建表從原始數據
• ACID事務,時間旅行

一個快速入門lakehouses

一個lakehouse是一種新的數據平台架構模式,Beplay体育安卓版本結合湖泊和數據倉庫數據的最佳特性。現代lakehouse是一個高度可擴展和性能數據平台托管生和準備數據集快速業務消費和推動先進的業務洞察力和決策。Beplay体育安卓版本它打破了數據倉庫,並允許無縫、安全數據訪問授權用戶在整個企業在一個平台上。Beplay体育安卓版本

銅層(原始數據)

的銅層是我們土地的所有數據從外部源係統。這一層的表結構對應於源係統表結構“按原樣”,以及任何額外的元數據列捕獲裝載日期/時間,進程ID,等。重點在這一層是快速變化數據捕獲和能力提供一個曆史檔案的來源(冷藏),數據沿襲,審核,如果需要再加工沒有重讀數據從源係統。

銀層(潔淨和符合數據)

在銀層lakehouse,青銅層相匹配的數據,合並,符合和清洗(“足夠的”),這樣銀層可以提供一個“企業”觀點的所有關鍵業務實體、概念和事務。成(如主客戶,商店,交易和beplay体育app下载地址交叉引用表)。

銀層將來自不同數據源的數據到一個企業視圖,使自助分析專門報告,先進的分析和毫升。作為來源部門分析師、工程師和數據科學家進一步創建項目和分析業務問題回答通過企業、部門數據項目在金層。

lakehouse數據工程範例,通常英語教學法之後對ETL -這意味著隻有最小或“足夠”轉換和數據清理規則應用在加載銀層。速度和敏捷性攝取和交付數據在數據湖是優先,很多具體項目複雜的轉換和業務規則應用在加載數據從銀金層。從數據建模的角度來看,銀層3 rd-normal形式像數據模型。76年數據的拱頂,write-performant數據模型可以用在這一層。

金層(策劃業務級表)

中的數據金層lakehouse通常是有組織的“具體項目”數據庫訪問並停留。報告和使用更多標準化的黃金層是用更少的連接和讀取最優化的數據模型。最後一層的數據轉換和數據質量規則應用。最後表示層的項目,如客戶分析、產品質量分析、庫存分析、客戶細分、產品推薦、標記/銷售分析等在這一層。我們看到很多金博風格明星基於數據模型或Inmon風格數據集市lakehouse適合這個金層。

所以你可以看到數據策劃在整個lakehouse的不同層。在某些情況下,我們也看到,許多傳統RDBMS數據集市和企業級數據倉庫的技術堆棧攝取到lakehouse,這樣企業可以首次“pan-EDW”高級分析和毫升——這是不可能的或傳統的堆棧上的成本太高。(如物聯網/製造業數據與銷售和營銷缺陷數據分析或衛生保健基因組學、EMR / HL7臨床數據市場與金融債權的數據創建一個湖醫療數據及時、改善病人護理分析。)

圖案架構和數據網格

大獎章架構兼容的概念數據網格。銅和銀表可以“一對多”的方式連接在一起,這意味著一個上遊表中的數據可以被用來生成多個下遊表。

(今天試著磚免費]