部署模型推理和預測

磚建議您使用MLflow部署的機器學習模型。您可以使用MLflow批量部署模型流推理或建立一個REST端點服務模型。

本文描述如何部署MLflow模型離線(批處理和流媒體)推理和在線(實時)服務。對於一般信息處理MLflow模型,明白了日誌、負載、登記和部署MLflow模型。

提示

可以簡化模型部署通過注冊模型MLflow模型注冊。注冊後您的模型,你可以自動生成一個筆記本批推理或在線服務配置模型模型服務。

離線預測

本節包括設置的說明和示例批處理或流預測數據磚。

使用MLflow推理模型

MLflow幫助您生成代碼批量或流推理。

您還可以自定義生成的代碼通過上麵的選項。看到以下筆記本為例子:

  • 的模型推理的例子使用一個模型訓練與先前記錄到MLflow scikit-learn和展示如何加載模型,用它來預測在不同格式的數據。筆記本演示了如何應用該模型作為熊貓DataFrame scikit-learn模型,以及如何應用這些模型作為火花DataFrame PySpark UDF。

  • 的MLflow模型注冊表實例展示了如何構建、管理和部署模型與模型注冊表。在這個頁麵,你可以搜索.predict離線識別的例子(批)預測。

創建一個磚的工作

運行批處理或流的預測工作,創建一個筆記本或JAR包括預測用於執行的代碼。然後,執行筆記本或JAR磚工作。工作可以立即或在運行時間表。

流推理

從MLflow模型注冊,你可以自動生成一個筆記本,集成MLflow PySpark推理UDF三角洲生活表。

您還可以修改生成的推理筆記本使用Apache火花結構化流API。看到Apache火花MLlib管道和結構化流的例子。

推理與深度學習模型

深度學習的信息和示例模型推理在磚上,看到下麵的文章:

推理和MLlib XGBoost4J模型

可伸縮的模型推理和MLlib XGBoost4J模型,使用本機變換方法對火花DataFrames執行直接推理。的MLlib例子筆記本包括推理的步驟。

定製和優化模型推理

當你使用MLflow api上運行推理引發DataFrames,您可以加載模型作為一個火花UDF使用分布式計算和大規模應用。

你可以定製你的模型添加預處理或後處理和優化計算大型模型的性能。是一個很好的選擇定製模型MLflow pyfunc API,它允許您將一個模型與自定義的邏輯。

如果你需要做進一步的定製,您可以手動包裝在熊貓UDF或機器學習模型熊貓迭代器UDF。看到深度學習的例子。

對於較小的數據集,您還可以使用本機模型推理庫提供的例程。

模型服務

對於Python MLflow模型,磚允許您主機的機器學習模型的模型注冊其他端點模型服務。

第三方服務模型

將模式部署到第三方服務框架,使用mlflow。< deploy-type > .deploy ()。