磚三角洲湖地址的挑戰在數據質量和一致性在冰山等複雜的數據結構表在幾個方麵:
1。版本控製——三角洲湖維護一個事務日誌跟蹤所有的更改數據湖。這可以讓你回到過去,或查詢前一個版本的數據視圖。這是有用的審計數據質量問題或從錯誤中恢複。
2。模式執行,你可以定義一個模式表和δ湖將執行該模式在所有表的數據寫入。這可以防止不好的或不一致的數據被寫入表。
3所示。合並——三角洲湖MERGE命令允許您將新數據合並到現有的三角洲表而執行模式和處理更新/刪除操作。這有助於保持表始終最新的數據。
4所示。件——三角洲周期性緊湊排列表小文件合並到更大的文件和回收空間從刪除記錄。這有助於優化性能和成本效率的表。件也驗證表中的數據完整性。
5。時間旅行——你可以查詢以前版本的一個增量表通過提供一個時間戳。這允許您回去識別,當數據質量問題可能已經被引入。
6。審計曆史——三角洲湖保持審計的曆史表上執行的所有操作。這對於跟蹤審計曆史可以有用數據質量問題的來源。
總之,三角洲湖提供功能模式執行,版本控製,融合變化,壓實,時間旅行,和審計,幫助確保高質量和一致性的數據,即使是複雜的表像冰山表。
