這篇文章將幫助你簡化你的數據攝取利用自動加載程序,三角洲優化寫道,三角洲和珠江三角洲的編寫工作,生活表。
Pre-Req:
步驟1:簡化攝入與自動加載程序
三角洲湖幫助解鎖的全部功能在磚處理JSON數據。自動加載程序很容易攝取JSON數據和管理數據磚Lakehouse半結構化數據。
讓手和導入筆記本介紹了連續和自動加載程序將攝取的JSON數據。
如果你想了解更多,請查看概述提單噩和簡短的視頻,回到這篇文章遵循步驟2 - 3。
步驟2:減少寫入延遲通過優化三角洲表
現在你使用增量表,減少延遲閱讀通過運行時自動優化自動緊湊的小文件在個人寫道。
設置表的屬性
delta.autoOptimize。optimizeWrite = true和delta.autoOptimize。autoCompact = true
在創建表命令
提示:與許多活躍的查詢和延遲需求表(分鍾)的順序從汽車優化中獲益。
找到例子在這裏為使汽車在所有表優化年代。
步驟3:設置自動ETL處理
最後,作者使用磚工作流和工作,管理和協調攝入你的半結構化和流媒體數據。
這裏有一個快速的介紹如何安排工作和自動化工作負載。
你知道磚還提供了強大的ETL功能與達美住表(DLT) ?DLT,對待你的數據代碼和應用軟件工程最佳實踐測試,監測和文檔大規模部署可靠的管道。
了解更多關於DLT……
——按照DLT入門指南
- - - - - -觀看演示
- - - - - -下載例如筆記本電腦
- - - - - -加入DLT討論在磚社區
恭喜您已經優化數據攝取得到最出你的數據!
降低你的問題、反饋和建議!
