大規模實時模型服務和監控數據磚

[Maverick1]

如何部署大規模實時模型數據磚嗎?現在,該模型為每秒20請求提供非常有限。也,沒有模型監測框架/圖像AzureML或Sagemaker提供的一個框架。

[werners1]

你可能想看看MLFlow。

但就部署模型,MLFlow不僅當地的REST api afaik。

此外,你也可以部署到AzureML或Sagemaker。

不確定什麼磚的部署計劃的一部分。我認為他們可能會開箱即用的集成與現有平台,但這裏磚的人可能一束光照耀。Beplay体育安卓版本

[werners1]

https://docs.www.eheci.com/applications/mlflow/model-serving.html

我想我不再更新了。

[Maverick1]

@Werner Stinckens:

實時能力還不是可伸縮,但我聽說過一個更新產品路線圖,8月數據磚團隊分支服務層分成2部分(批處理和實時)。不知道有多少可伸縮性改進。

周圍也沒有什麼模型監測是一個巨大的挑戰而實時模型服務架構。

[werners1]

同意。

這就是為什麼在我的公司,我們看看Azure毫升。