遷移到Serverless實時推理

重要的

  • 這個文檔已經退休了,可能不會被更新。產品、服務或技術中提到的這些內容不再支持。

  • 本文中的指導是模型的預覽版本,以前Serverless實時推理功能。磚建議您遷移模型的工作流服務可用的一般功能。看到模型服務與磚。

預覽

這個特性是在公共預覽。

本文演示了如何啟用Serverless實時推理模型使用工作區和開關遺留MLflow模型服務與Serverless實時推理模型服務。

有關Serverless實時推理的一般信息,明白了模型服務Serverless實時推理。

需求

重大的改變

  • 在Serverless實時推理,請求發送到端點的格式和端點的響應從遺留MLflow模型略有不同。看到評分模型端點新格式協議的細節。

  • 在Serverless實時推理,包括端點URLmodel-endpoint而不是模型

  • Serverless實時推理包括完全支持工作流管理資源與API生產就緒。

啟用Serverless實時推理工作區

重要的

Serverless實時推理必須啟用您的工作區。第一次是啟用的工作區,管理必須閱讀並接受條款和條件。

為您的工作區來啟用Serverless實時推理:

  1. 參加預覽。

    1. 伸出你的磚代表請求加入Serverless實時推理公共預覽。

    2. 磚給你發送一個穀歌的形式。

    3. 填寫表單並提交數據磚。工作區招收的表單包含信息。

    4. 等到磚通知你參加預覽您的工作區。

  2. 作為一個管理員,訪問管理員設置頁麵。

  3. 選擇工作空間設置。

  4. 選擇MLflow Serverless實時推理實現。

禁用遺留MLflow模型服務您的模型

之前您可以啟用Serverless實時推理模型,你需要禁用遺留MLflow模型服務目前服務模型。

以下步驟展示了如何做到這一點的UI。

  1. 導航到模型側邊欄的機器學習的工作區。

  2. 選擇你想要的模型禁用遺留MLflow模型服務。

  3. 在服務選項卡上,選擇停止。

  4. 消息似乎證實。選擇停止供應。

使Serverless實時推理模型

一旦Serverless實時推理上啟用您的工作空間,您將看到下麵的屏幕上服務選項卡的注冊模型。使Serverless實時推理模型,點擊使Serverless實時推理按鈕。

服務麵板

重要的

如果您沒有看到這個按鈕,但是你不是看到一個支持服務按鈕,您使用的是端點為遺留MLflow模型服務端點不Serverless模型。聯係管理員在這個工作區啟用這個特性。