模型服務與磚
本文描述了磚模型服務,包括其優勢和局限性。
模型服務公開MLflow機器學習模型作為可伸縮的REST API端點和提供了一個高可用性和低延遲服務部署模型。服務自動上下尺度滿足需求在選擇並發範圍內變化。這個功能使用serverless計算。看到模型服務定價頁為更多的細節。
為什麼使用模型服務?
模型提供服務:
單擊啟動一個端點:磚自動為您的模型和針對生產環境準備為計算提供serverless配置選項。
高可用性和可伸縮性:模型是用於生產使用和服務可以支持多達3000 + queries-per-second(每秒)。模型服務端點自動向上和向下擴展,這意味著端點自動調整基於評分的請求的數量。你也可以為多個模型從一個端點。
MLflow集成:本地連接到MLflow模型注冊表使快速和容易的部署模型。
指示板:使用內置的模型服務端點使用儀表板來監測你的健康模型指標如每秒,延遲和錯誤率。
功能存儲整合:當你的模型訓練與磚特性的存儲特性,模型包裝功能的元數據。如果你配置您的在線商店,這些特性作為得分納入實時接收的請求。
需求
模型在MLflow模型注冊中心注冊。
注冊的權限模型中描述服務端點訪問控製。
限製
以下限製:
有效載荷的大小限製,每個請求的16 MB。
默認限製每個工作區得分200每秒的請求。你可以增加這個極限3000每秒每工作區通過接觸你的磚支持接觸。
盡最大努力支持少於100毫秒延遲開銷和可用性。
工作區有可能部署在一個受支持的地區,但可以服務控製飛機在不同的地區。這些工作空間不支持模型服務,導致
你的工作空間是不目前支持。消息。解決,創建一個新的工作區在受支持的地區,或使用該功能在不同的工作區中沒有這個問題。伸出你的磚代表的更多的信息。模型服務目前並不符合HIPAA法規。
模型服務端點受訪問控製保護和尊重網絡相關導入工作區上配置規則,如IP allowlists和PrivateLink。