參考圖像應用的解決方案
本文及其附帶的筆記本描述分布式圖像模型參考解決方案推理基於共同設置許多真實世界的圖像應用程序。這個設置假設您許多圖像存儲在對象存儲和可選地不斷到達新圖像。假設你有幾個訓練有素的深度學習(DL)模型對於圖像分類和對象檢測實例,MobileNetV2多年檢測人類對象照片幫助保護隱私和你想應用這些DL模型來存儲圖像。
你可能會重新訓練模型和更新之前的預測計算。然而,它既是I / O-heavy和compute-heavy加載許多圖像和應用DL模型。幸運的是,推理工作負載是高度平行,理論上可以分布。本指南將引導您完成一個實際的解決方案,其中包含兩個主要階段:
ETL圖像到一個增量表使用自動加載程序
使用熊貓UDF執行分布式推理
ETL圖像到一個增量表使用自動加載程序
對於圖像的應用程序,包括培訓和推理任務,磚建議您ETL圖像到一個表的三角洲自動加載程序。自動加載程序幫助數據管理和自動處理不斷到達新圖像。