使用TensorFlow和TensorRT模型推理

本文演示了磚推薦的筆記本深度學習推理工作流TensorFlow和TensorFlowRT。這個例子展示了如何優化訓練ResNet-50模型與TensorRT模型推理。

英偉達TensorRT是一個高性能的推理優化器和運行時,可提供低延遲和高深度學習推理應用程序吞吐量。TensorRT安裝GPU-enabled版本的磚運行時的7.0(不支持)及以上。

磚建議您使用G4實例類型係列,這是優化部署在生產中機器學習模型。