流媒體在磚
您可以使用磚為近實時數據的攝入,處理、機器學習和人工智能流媒體數據。
磚為流媒體和增量處理提供了眾多的優化等等。對於大多數流或增量數據處理或ETL任務,磚建議三角洲生活表。看到δ生活是什麼表?。
大多數增量和流媒體工作負載在磚是由結構化流,包括三角洲生活表和自動加載程序。看到自動加載器是什麼?。
三角洲湖和結構化流緊密集成功率磚Lakehouse增量處理。看到表流讀取和寫入。
實時模型服務,明白了_。
結構化的流媒體是什麼?
Apache火花結構化流是一個實時處理引擎,提供端到端容錯僅一次處理保證使用熟悉的火花api。結構化的流媒體數據流可以表達計算你以同樣的方式表達對靜態數據批處理計算。結構化流引擎執行計算的增量,不斷更新結果流數據的到來。
如果你新結構化流,明白了第一個結構化流負載運行。
使用結構化流信息的統一目錄,看看使用統一的目錄和結構化流。
什麼流源和彙磚支持嗎?
磚建議使用自動加載程序來攝取從雲支持文件類型對象存儲到三角洲湖。對ETL管道磚建議使用三角洲生活表(使用三角洲表和結構化流)。您還可以配置增量ETL工作負載由三角洲湖流和表。
除了三角洲湖和自動加載程序,結構化流可以連接到消息傳遞服務例如Apache卡夫卡。