磚上運行的AWS和集成了所有主要的服務使用S3, EC2,紅移和更多。在這個演示中,我們將向您展示如何磚與每個服務簡單並無縫地集成,使您構建一個lakehouse架構。
深入研究磚在AWS上
視頻記錄
磚Lakehouse AWS概述
磚Lakehouse平台AWS生態係統的核心,且容Beplay体育安卓版本易與流行的數據+人工智能集成服務,比如運動流,S3 bucket,膠水,雅典娜,紅移,QuickSight等等。在這個演示中,我們將向您展示如何磚與每個服務集成在一個簡單的,無縫的方式。
連接到EC2, S3,膠水和我
當我們開始了一個火花集群在磚上,我們可以配置使用膠水數據目錄,並將它附加到一個我實例配置文件,這樣就可以讓磚供應和管理EC2實例,S3 bucket和其他AWS服務。
我們做的第一件事在AWS磚是建立一個火花集群在虛擬私有雲,它可以自動定量控製上下雲成本數據負載變化。磚火花集群在後台使用EC2實例,您可以配置他們使用AWS膠數據目錄。你還可以設定AWS實例集群配置文件在你的控製和管理訪問S3 bucket和其他資源。
單擊擴大→記錄
單擊崩潰記錄→
攝取運動流到三角洲湖
現在,我們的自動定量火花集群啟動並運行,先攝取實時運動數據流在短短幾行代碼,使用結構化流火花和內置的Databricks-Kinesis連接器。首先,我們將我們的一些原始數據流DataFrame。接下來,我們可以將其保存在三角洲湖格式三角洲湖青銅表存儲在S3中,使用你在這裏看到的代碼。三角洲湖是一個lakehouse的基礎架構,雲對象存儲提供ACID事務,以及表統一批處理和流媒體數據處理來簡化你的數據架構。
查看三角洲湖表膠控製台
我們可以把我們剛剛創建的表中數據磚通過運行命令顯示表的一個筆記本,或者通過點擊數據選項卡並導航到數據庫表存儲的地方。自從我們建立我們的集群與AWS膠集成數據目錄,我們也可以把這些三角洲湖表直接在膠控製台。當我們尋找他們,你可以看到所有的表,我們從磚現在出現在膠水。
磚-紅移的集成
磚也容易處理數據倉庫數據存儲在您的紅移,。這裏,我們寫一些示例數據使用內置的磚紅移連接器的紅移。我們也可以從紅移使用相同的連接器。或者,您可以選擇一個PostgreSQL連接器或從磚紅移數據API來做同樣的事情。或者我們可以跳進紅移控製台和查詢從磚我們剛剛創建的表。
磚——QuickSight集成
最後,我們還可以連接到AWS QuickSight儀表板從磚來探索我們的數據可視化和創建有吸引力的儀表板和報告。
結論
正如我們所看到的,磚提供了一個簡單的、開放和協作lakehouse平台,深入集成了所有AWS服務。beplay娱乐iosBeplay体育安卓版本下載這個演示中使用的筆記本在磚演示中心通過點擊下麵的鏈接的描述。或者訪問www.eheci.com/try開始免費試用的磚在AWS的今天。
準備好開始了嗎?
