你好,
您可以定義一個生活或流媒體直播視圖或表:
現場總表或視圖反映了查詢的結果定義,包括當定義表或視圖的查詢更新,或者更新一個輸入數據來源。像傳統的物化視圖,一個生活表或視圖時可能完全計算可能的優化計算資源和時間。
流媒體直播表或視圖的過程數據,隻添加了自上次管道更新。流表和視圖狀態;如果定義查詢發生變化,新的數據將根據新的查詢和處理現有的數據重新計算。
自動裝卸機可用於批處理通過使用readStream一個觸發器。一次選擇。https://learn.microsoft.com/en-us/azure/databricks/ingestion/auto-loader/production cost-considerati……。
在情況下,您可以設置自動裝卸機readStream觀看新土地的文件路徑的文件通配符
input_stream = (
火花
.readStream.format (“cloudFiles”)
.option (“cloudFiles。格式”、“csv”)
. schema(“名稱字符串,字符串”)
.load (base_dir +“datasource_A_ /數據/ * / * . csv”)
)
