數據在蔚藍的湖泊
完整的權力和權威數據源lakehouse
湖是什麼數據?
運行數據,分析和人工智能工作負載在一個簡單的、開放和協作原生雲平台,輕鬆地集成了安全與管理工具,使您能夠擴展現有的治理策略平和的beplay娱乐ios心態和更大的控製權。Beplay体育安卓版本
什麼是Azure數據湖?
Azure的數據包括可伸縮、湖雲數據存儲和分析服務。Azure數據湖存儲允許任何規模的組織存儲數據,格式和速度進行各種各樣的處理,數據分析和科學的用例。當使用其他Azure服務——例如Azure磚——Azure數據存儲是一個湖更有成本效益的方法來存儲和檢索數據在整個組織。
你的數據是否大或小,快或者慢,結構化或非結構化,Azure數據集成了Azure身份,湖管理和安全來簡化數據管理和治理。Azure存儲自動加密數據和Azure磚提供工具來維護數據來滿足您的組織的安全性和遵從性需求。
你為什麼需要一個湖Azure數據?
湖泊是開放數據格式,所以用戶避免鎖定專有係統像一個數據倉庫。開放標準和格式已經成為越來越重要的在現代數據架構。數據湖泊也高度耐用,成本低,因為他們的規模和杠杆對象存儲的能力。此外,先進的分析和機器學習對非結構化數據的一些最今天企業戰略重點。獨特的攝取各種格式的原始數據的能力——結構化、非結構化和半結構化——連同提到的其他好處讓數據存儲的數據湖明確的選擇。
當適當的架構,數據湖泊提供的能力:
- 電力數據科學和機器學習
- 集中,鞏固和目錄數據
- 快速和無縫集成不同的數據來源和格式
- 民主化數據提供用戶自助服務工具
之間的區別是什麼一個Azure數據湖和Azure數據倉庫嗎?
數據湖是一個中央位置,擁有大量數據在本土,原始格式,以及組織大量的高度多樣化的數據。相比,分層數據倉庫,數據存儲在文件或文件夾,一個數據湖使用平麵結構來存儲數據。數據湖泊通常在一個可擴展的硬件集群配置。因此,您可以將原始數據存儲在湖的情況下,需要在將來的某個日期,而不用擔心數據格式,大小或存儲容量。
此外,數據集群可以存在本地或在雲中湖。曆史上,“數據湖”一詞常與Hadoop-oriented對象存儲,但是今天這個術語通常指的是更廣泛的一類對象存儲。對象存儲存儲數據與元數據標簽和一個獨特的標識符,這使得它更容易定位和檢索數據跨區域並提高了性能。磚Lakehouse平台使所有的數據在數據湖可供任Beplay体育安卓版本意數量的數據驅動的用例。
你如何建立一個數據湖湖使用Azure磚和Azure數據存儲?
在Azure托管三角洲湖磚提供了一層的可靠性,使您的副牧師,從數據分析和推導的價值在雲湖。
- Azure磚從事件隊列讀取流數據,如Azure事件中心,Azure物聯網中心或卡夫卡和原始事件裝入優化、壓縮三角洲湖表和文件夾(青銅層)存儲在Azure存儲數據湖。
- 計劃或觸發Azure數據工廠管道來自不同數據源的數據副本的原始格式湖到Azure數據存儲。汽車裝載機在Azure磚過程文件的土地和負載優化,壓縮三角洲湖表和文件夾(青銅層)存儲在Azure存儲數據湖。
- 流或計劃/觸發Azure磚工作從青銅層讀取新事務,然後加入,幹淨、變換和聚合前使用酸事務(插入、更新、刪除、合並)將它們加載到策劃數據集(金銀層)存儲在三角洲湖湖Azure數據存儲。
湖現代數據架構
一個現代lakehouse建築那結合性能、可靠性和數據完整性倉庫的靈活性,規模和支持非結構化數據在數據湖。
現代數據湖泊利用彈性雲存儲幾乎無限數量的數據”,“而不需要征收模式或結構。結構化查詢語言(SQL)是一種強大的查詢語言來探索您的數據,發現有價值的見解。三角洲湖是一個開源存儲層帶來可靠性與ACID事務數據湖泊,可擴展的元數據處理和統一的流和批量數據處理。三角洲湖是完全兼容,為現有數據湖帶來了可靠性。
你可以查詢你的數據使用SQL和三角洲湖湖Azure磚。三角洲湖使您能夠執行SQL查詢流和批處理數據而不移動或複製數據。Azure磚提供額外的好處在處理湖三角洲湖,以確保您的數據通過本機與雲服務的集成,提供最佳性能,幫助審計和故障診斷的數據管道。
- 三角洲湖集成了可伸縮的雲存儲或HDFS幫助消除數據孤島
- 探索你的數據使用SQL查詢和一個層符合acid事務將直接在您的數據
- 利用金、銀、銅牌獎章表”進行整合和簡化數據質量為您的數據管道和分析工作流
- 使用三角洲湖時間旅行,看看你的數據改變隨著時間的推移
- Azure磚與三角洲緩存等功能,優化了性能的文件壓縮和數據跳過
