使用磚,可以攝取來自數百個數據源的數據逐步有效地進入你的三角洲湖,以確保你的lakehouse總是包含最完整和最新的數據用於數據科學、機器學習和業務分析。
數據攝取,簡化
自動加載程序
使用自動加載程序來攝取任何文件,它可以在一個數據湖成三角洲湖。自動加載器指向一個目錄在雲存儲服務,比如Amazon S3, Azure湖數據存儲或穀歌計算存儲和自動加載程序將逐步過程新文件與語義。
跟蹤和監控
讓汽車加載程序跟蹤哪些文件已經處理,發現晚到達數據,推斷出你的數據模式,監控模式變化隨著時間的推移和救援數據與數據質量問題。自動加載器可以在幾秒內連續攝取數據或者可以安排在你的預期數據到達率——無論是一次一個小時,一天一次或每月一次。
複製到
SQL命令複製到允許您執行批處理文件攝入到三角洲湖。複製到命令吸入文件到底是一次語義,輸入時最好使用目錄包含成千上萬的文件或更少,和用戶更喜歡SQL。複製到可以使用JDBC將數據推送到三角洲湖在你方便的時候。
高效的數據處理
使用磚,可以把數據從受歡迎的消息隊列,等Apache卡夫卡AWS動作,Azure事件中心,或以更低的延遲。從這些來源攝取你的數據到三角洲湖,你不必擔心失去這些服務中的數據由於保留政策。您可以再加工數據更便宜、更有效地隨著業務需求的發展,你可以保持更長的曆史查看你的數據機器學習能力以及業務分析應用程序。
統一你的數據從其他企業應用程序
利用大量數據攝入的網絡合作夥伴如Azure數據工廠,Fivetran, Qlik, Infoworks, StreamSets和Syncsort輕鬆攝取來自應用程序的數據,數據存儲、主機、文件和更多的湖成三角洲一個易於使用的連接器的畫廊。利用合作夥伴實現全部潛力的生態係統相結合的大數據和基於雲的應用程序的數據,數據庫、主機和文件係統。
攝入變化數據捕獲應用程序數據庫的三角洲湖
你的業務依賴於應用程序的數據庫。利用直接在數據分析用例可以導致業務應用程序中斷由於太多的數據庫上的負載。lakehouse通過複製這些數據集,可以確保您的業務應用程序可以運行沒有問題你在分析利用有價值的信息用例。你可以攝取這些數據存儲的數據通過利用Azure服務數據工廠,AWS DMS和汽車裝載機或Fivetran等合作夥伴。
