取消
顯示的結果
而不是尋找
你的意思是:

如何處理圖片和視頻通過結構化流使用三角洲湖?

Srikanth_Gupta_
價值貢獻

我們可以掃描雖然視頻和實時識別和預警如果出現錯誤?這種用例的最佳實踐是什麼?

2回答2

Ryan_Chynoweth
尊敬的貢獻者三世

是的,你可以使用三角洲湖來處理圖像。通常與視頻處理您將處理每一幀視頻(非常類似於圖像處理)。

你說你要麼流圖像數據使用服務總線,可以讀取數據磚也可以降低圖像/視頻文件雲存儲和那些加載到一個流dataframe。

一旦你有了一個流媒體dataframe你可能想要使用一個foreach批函數得分每個圖像/ ML / DL模型框架使用您之前訓練來識別任何您感興趣的警報。

下麵的代碼:

/ /函數從白銀和黃金def upsertBatchData插入數據(microBatchDF: org.apache.spark.sql.Dataset [org.apache.spark.sql。行),batchId: scala.Long) ={/ / / /寫應用轉換數據如果(DeltaTable.isDeltaTable (gold_data)) {var deltaTable = deltaTable。forPath(火花,gold_data) / /組的三角洲表插入(deltaTable.alias (“delta_table”) .merge (microBatchDF.alias(“更新”)、“更新。詞= delta_table.word ") / /加入dataframe“更新”與三角洲表“delta_table”關鍵.whenMatched () .updateAll() / /如果我們匹配鍵更新所有列.whenNotMatched () .insertAll() / /如果我們不匹配鍵然後插入其他所有列. execute ())} {microBatchDF.write.format .mode(“δ”)(“覆蓋”)。選項(“mergeSchema”,“真正的”).save (gold_data)}} var silverDF = spark.readStream.format(“δ”)。選項(“ignoreChanges”,“真正的”).load (silver_data) / /讀取數據作為流銀/ /寫數據作為流銀silverDF更新。writeStream .format(“δ”).option (“checkpointLocation silver_checkpoint) .trigger (Trigger.Once ()) .foreachBatch (upsertBatchData _) .outputMode(“更新”).start()顯示(spark.read.format(“δ”).load (gold_data))

匿名
不適用

也許我有點離題了,但你能推薦公司從事視頻生產嗎?我想為我的網站做一個解釋性的視頻。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map