參考圖像應用的解決方案

學習如何做分布式圖像模型推理從參考解決方案使用熊貓UDF筆記本,PyTorch, TensorFlow共同配置由許多真實世界的圖像應用程序共享。這個配置假設您許多圖像存儲在對象存儲和可選地不斷到達新圖像。

工作流的圖像模型推論

假設你有幾個訓練有素的深度學習(DL)模型對於圖像分類和對象檢測實例,MobileNetV2多年檢測人類對象照片幫助保護隱私和你想應用這些DL模型來存儲圖像。

你可能會重新訓練模型和更新之前的預測計算。然而,它既是I / O-heavy和compute-heavy加載許多圖像和應用DL模型。幸運的是,推理工作負載是高度平行,理論上可以分布。本指南將引導您完成一個實際的解決方案,其中包含兩個主要階段:

對於圖像的應用程序,包括培訓和推理任務,磚建議您ETL圖像到一個表的三角洲自動加載程序。自動加載程序幫助數據管理和自動處理不斷到達新圖像。

下麵的筆記本使用PyTorch TensorFlow tf。Keras展示參考解決方案。

對於大型圖像文件(平均圖像大小大於100 MB),磚建議使用增量表隻管理元數據(文件名列表)和加載的圖像對象存儲在需要的時候使用他們的路徑。