參考圖像應用的解決方案

本文及其附帶的筆記本描述分布式圖像模型參考解決方案推理基於共同設置許多真實世界的圖像應用程序。這個設置假設您許多圖像存儲在對象存儲和可選地不斷到達新圖像。假設你有幾個訓練有素的深度學習(DL)模型對於圖像分類和對象檢測實例,MobileNetV2多年檢測人類對象照片幫助保護隱私和你想應用這些DL模型來存儲圖像。

你可能會重新訓練模型和更新之前的預測計算。然而,它既是I / O-heavy和compute-heavy加載許多圖像和應用DL模型。幸運的是,推理工作負載是高度平行,理論上可以分布。本指南將引導您完成一個實際的解決方案,其中包含兩個主要階段:

  1. ETL圖像到一個增量表使用自動加載程序

  2. 使用熊貓UDF執行分布式推理

ETL圖像到一個增量表使用自動加載程序

對於圖像的應用程序,包括培訓和推理任務,磚建議您ETL圖像到一個表的三角洲自動加載程序。自動加載程序幫助數據管理和自動處理不斷到達新圖像。

ETL圖像數據集到一個增量表筆記本

在新標簽頁打開筆記本

使用熊貓UDF執行分布式推理

下麵的筆記本使用PyTorch TensorFlow tf。Keras展示參考解決方案。

通過Pytorch分布式推理和熊貓UDF筆記本

在新標簽頁打開筆記本

通過Keras分布式推理和熊貓UDF筆記本

在新標簽頁打開筆記本

限製

對於大型圖像文件(平均圖像大小大於100 MB),磚建議使用增量表隻管理元數據(文件名列表)和加載的圖像對象存儲在需要的時候使用他們的路徑。