都是什麼δ在磚嗎?

本文介紹的技術品牌δ在磚上。δ是指技術或相關三角洲湖開源項目

本文回答:

  • 是什麼δ技術數據磚嗎?

  • 他們做什麼?或者他們是用來做什麼的?

  • 他們是如何與不同於另一個?

三角洲的東西是用來做什麼的?

與三角洲湖三角洲是一個術語介紹,存儲的基礎數據和表數據磚Lakehouse平台。Beplay体育安卓版本三角洲湖也被認為是一個統一的數據管理係統來處理事務實時和批處理大數據,通過擴展拚花和基於文件的事務日誌數據文件ACID事務和可擴展的元數據處理。

lakehouse三角洲湖:操作係統數據管理

三角洲湖是一個開源存儲層,使湖泊的數據可靠性添加一個事務性存儲層的數據存儲在雲存儲(在AWS S3, Azure存儲和gc)。它允許ACID事務、數據版本控製和回滾功能。它允許您同時處理批處理和流數據在一個統一的方法。

三角洲表是建立在此之上存儲層和提供一個表的抽象,使它容易處理大規模結構化數據使用SQL和DataFrame API。

三角洲表:默認數據表結構

三角洲表是默認的數據表格格式在磚和三角洲湖開源數據的功能框架。通常用於數據湖泊三角洲表,數據通過流或大批量的攝入。

看到的:

三角洲生活表:數據管道

三角洲生活表管理很多三角洲表之間的數據流,從而簡化了數據工程師ETL開發和管理的工作。管道是主要的執行單位三角洲生活表。三角洲生存表提供了聲明式管道的發展,提高了數據的可靠性,和雲級別的生產操作。用戶可以執行批處理和流操作在同一表和數據立即查詢。你定義轉換執行數據,和δ生活表管理任務編排,集群管理、監控、數據質量和錯誤處理。三角洲生活表增強自動定量可以處理流媒體工作負載的和不可預測的。

看到三角洲生活表快速入門

表和δ生活表

三角洲表是一種存儲數據的表,而三角洲生活表允許您以聲明的方式描述這些表之間的數據流。三角洲生活表是一種聲明性框架,管理許多三角洲表,通過創建它們,使它們保持最新。簡而言之,表是一個數據表結構而δ生活表是一個數據管道框架。

三角洲:開源的或專有的嗎?

磚平台的力量在於它沒有用戶鎖定在專有工具:大部分的技術是由Beplay体育安卓版本開源項目,這磚造成的。beplay体育app下载地址

三角洲OSS項目是例子:

三角洲住在磚表是一個專有的框架。

有什麼其他δ事情在磚嗎?

下麵是其他特性的描述,包括δ在他們的名字。

三角洲分享

一個開放的標準安全的數據共享,三角洲分享支持組織不管他們的計算之間的數據共享平台。Beplay体育安卓版本

達美航空發動機

大數據的查詢優化器使用三角洲湖開源技術包括在磚。三角洲引擎優化性能的火花SQL,磚的SQL和DataFrame操作,把計算數據。

三角洲湖事務日誌(又名DeltaLogs)

真理的單一來源跟蹤的所有更改用戶表和三角洲湖擔保機製原子性。看到三角洲事務日誌協議在GitHub上。

事務日誌是理解三角洲湖的關鍵,因為它的主線,貫穿很多是其最重要的特點:

  • ACID事務

  • 可擴展的元數據處理

  • 時間旅行

  • 和更多。