是的,你可以使用三角洲湖來處理圖像。通常與視頻處理您將處理每一幀視頻(非常類似於圖像處理)。
你說你要麼流圖像數據使用服務總線,可以讀取數據磚也可以降低圖像/視頻文件雲存儲和那些加載到一個流dataframe。
一旦你有了一個流媒體dataframe你可能想要使用一個foreach批函數得分每個圖像/ ML / DL模型框架使用您之前訓練來識別任何您感興趣的警報。
下麵的代碼:
/ /函數從白銀和黃金def upsertBatchData插入數據(microBatchDF: org.apache.spark.sql.Dataset [org.apache.spark.sql。行),batchId: scala.Long) ={/ / / /寫應用轉換數據如果(DeltaTable.isDeltaTable (gold_data)) {var deltaTable = deltaTable。forPath(火花,gold_data) / /組的三角洲表插入(deltaTable.alias (“delta_table”) .merge (microBatchDF.alias(“更新”)、“更新。詞= delta_table.word ") / /加入dataframe“更新”與三角洲表“delta_table”關鍵.whenMatched () .updateAll() / /如果我們匹配鍵更新所有列.whenNotMatched () .insertAll() / /如果我們不匹配鍵然後插入其他所有列. execute ())} {microBatchDF.write.format .mode(“δ”)(“覆蓋”)。選項(“mergeSchema”,“真正的”).save (gold_data)}} var silverDF = spark.readStream.format(“δ”)。選項(“ignoreChanges”,“真正的”).load (silver_data) / /讀取數據作為流銀/ /寫數據作為流銀silverDF更新。writeStream .format(“δ”).option (“checkpointLocation silver_checkpoint) .trigger (Trigger.Once ()) .foreachBatch (upsertBatchData _) .outputMode(“更新”).start()顯示(spark.read.format(“δ”).load (gold_data))
