Clipper:一種低延遲在線預測服務係統

摘要

機器學習正被部署在越來越多的應用程序中，這些應用程序需要在繁重的查詢負載下進行實時、準確和健壯的預測。然而，大多數機器學習框架和係統隻處理模型訓練，而不是部署。本文介紹了一種通用的低時延預測服務係統Clipper。Clipper在終端用戶應用程序和廣泛的機器學習框架之間插入了一個模塊化的架構，以簡化跨框架和應用程序的模型部署。此外，通過引入緩存、批處理和自適應模型選擇技術，Clipper減少了預測延遲，提高了預測吞吐量、準確性和魯棒性，而無需修改底層機器學習框架。我們在四個常見的機器學習基準數據集上評估了Clipper，並展示了它滿足在線服務應用程序的延遲、準確性和吞吐量需求的能力。最後，我們將Clipper與Tensorflow服務係統進行了比較，並證明我們能夠實現可比的吞吐量和延遲，同時使模型組合和在線學習能夠提高準確性並提供更可靠的預測。