三角洲湖とは
三角洲湖(デルタレイク)は,AWS S3, Azure數據存儲、湖HDFSなどの既存のデータレイクファイルストレージ上に構築されるオープンソースのストレージレイヤーです。データレイクの信頼性,セキュリティ,性能を高め,ストリ,ミング/バッチ処理の両方に柔軟に対応します。構造化,半構造化,非構造化データを単一システムに集約してデータサイロを解消し,コスト効率およびスケーラビリティの高いレイクハウスを実現します。
デ,タスワンプからの脫卻
リアルタ@ @ムストリームを含む,すべてのデータの信頼できる単一真実情報源を提供し,データチームが常に最新のデータで作業できるようにします。酸トランザクションとスキーマエンフォースメントのサポートにより,三角洲湖は,従來のデータレイクに欠けていた信頼性を提供します。信頼性の高い,最新のデータを組織全體で活用し,分析をはじめとするデータプロジェクトをデータレイク上で直接実行できるようになります。結果として,デ,タドリブンな意思決定が最大50倍高速化します。
超高速性能
Apache火花™を基盤とする三角洲は湖大規模なスケーリングと高速性を実現します。性能を左右する電子郵箱ンデックス機能などの最適化により,Etlワ,クロ,ドが最大48倍高速化したことが実証されています。
オプン,アジャル
三角洲湖のデータはオープンなApache拚花形式で保存されるため,あらゆる互換リーダーで読み取ることができます。APIはオープンで,Apache火花と互換性があり,データパイプラインの変更は最小限ですみます。磚で Delta Lake を利用することで、オープンソースの広範なエコシステムへのアクセスが可能になり、獨自形式によるデータのロックインを回避できます。
大規模運用のためのセキュリティとガバナンス
三角洲湖は,詳細なアクセス製禦によりデ,タガバナンスを確実にしてリスクを軽減します。これは通常のデタレクでは不可能です。データレイクのデータを迅速かつ正確に更新し,GDPRをはじめとする規製へのコンプライアンス,監査ログによる高度なデータガバナンスの維持を可能にします。これらのケ@ @パビリティは,レ@ @クハウス初のマルチクラウドデ@ @タカタログである統一目錄の一部として數據庫にネ目錄目錄ティブに統合され,拡張されています。
ユ,スケ,ス
リアルタムデタによるbi .
ビジネスインテリジェンス(BI)のワークロードをデータレイク上で直接実行することで,新鮮なリアルタイムデータの素早いクエリを可能にし,データドリブンな意思決定を加速させます。三角洲湖は,データウェアハウスの性能とデータレイクの経済性を同時に実現するマルチクラウドのレイクハウスアーキテクチャの運用を可能にします。SQLワークロードの実行においては,従來のクラウド型データウェアハウスと比較して最大6倍の価格性能を発揮します。
バッチ/ストリミングの両方に対応
バッチ/ストリ,ミング両方の入力を単一のシンプルなア,キテクチャで処理し,冗長なシステムや運用上の課題を回避します。三角洲湖のテーブルは、バッチテーブルでもあり、ストリーミングソースとシンクでもあります。ストリーミングデータの取り込み、バッチ履歴バックフィル、対話型クエリは全てすぐに動作し、Spark の構造化ストリーミングと直接統合されます。
規製への対応
δは湖,不正なデータの取り込み,コンプライアンスのためのデータ削除,変更データキャプチャのためのデータの変更といった課題を解決します。データレイクでの酸トランザクションがサポートされているため,全操作を成功させるか,または,再実行に備えて全操作を完全に中斷させます。デタパプランを新たに作成する必要はありません。さらに,三角洲湖によって,全トランザクションの履歴がデ,タレ,クに記録されます。過去のバージョンのデータに容易にアクセス可能にすることで,GDPR / CCPAなどのコンプライアンス要件を満たします。
デタンジェストのネットワク
ネイティブのコネクタが,あらゆるアプリケーション,データベース,ファイルストレージからのデータを迅速・容易に三角洲湖に取り込みます。
導入事例
“Databricksの導入によって市場投入までの時間を短縮できました。分析や運用管理が効率化し,醫療部門の新たなニ,ズに対応できるようになっています。」
ヘルスダレクトオストラリア社
チ,フア,キテクトピ,タ,·ジェ,ムズ氏
“磚と三角洲湖を活用することで,組織內での大規模なデータ共有が可能になっています。さらに,本運用ワークロードの実行に伴うコストが60%低減し,數百萬ドルのコスト削減を達成しました。」
YipitData社CTOスティ,ブ·ピュレック氏
“三角洲湖はデータパイプラインの運用をシンプルにする酸特性によって,パイプラインの信頼性とデータの一貫性を向上させます。また,キャッシングや,ンデックス自動作成などの機能が,効率的なデ,タアクセスを可能にします。」
コロンビアスポ,
ララ·マナ氏
“三角洲湖でデ,タパ,プラ,ンの管理がシンプルになりました。運用コストも低減し,ダウンストリームの分析とデータサイエンスによる気づきの発見がスピードアップしています。」
Viacom18社デジタル変革·技術部門アシスタントVP
パリヤット·デesc氏