磚MLflow模型擴展注冊表與企業特性

我們興奮地宣布新的MLflow企業等級特性模型注冊在磚上。模型注冊中心現在是默認啟用所有客戶使用磚”beplay体育app下载地址統一的分析平台Beplay体育安卓版本。

在這個博客中,我們要強調的好處模型注冊作為一個集中的中心模型管理、跨組織的數據團隊如何共享和訪問控製模型,並涉及如何使用模型注冊api集成或檢查。

中心協作模型生命周期管理beplay娱乐ios

MLflow已經有能力跟蹤指標,參數,工件作為實驗的一部分;包模型和可再生的ML項目;和模型部署到批處理或實時服務平台Beplay体育安卓版本。建立在這些現有功能,MLflow模型注冊表(AWS][Azure)提供了一個中央存儲庫管理模型部署生命周期。

CI / CD工具的概述,MLflow集中的中心模型的體係結構和工作流程的管理。

數據科學家的主要挑戰之一在大型組織中缺乏一個中央存儲庫合作,共享代碼,和管理部署階段轉換模型,模型版本,和他們的曆史。集中式注冊模型整個組織提供數據團隊的能力:

• 發現注冊模式,當前發展階段模型,實驗運行,和相關代碼注冊模型
• 過渡模型部署階段
• 部署在不同階段,不同版本的注冊模型MLOps工程師能力不同的模型版本的部署和實施測試
• 存檔老模型為後代和出處
• 閱讀模式模型的生命周期中活動和注釋
• 細粒度的訪問和權限控製模型注冊,轉換或修改

模型注冊表顯示在它們的整個生命周期過程中不同階段的不同版本。

訪問控製模型階段管理

在當前數據和機器學習創新的十年,模型已經成為珍貴的資產和企業戰略的關鍵。模型的使用作為解決方案的一部分,解決業務問題範圍從機械的機械故障預測預測能耗或財務業績;欺詐和異常檢測的推動建議購買相關物品。

與敏感數據,因此模型,使用這些數據來訓練和得分,一個訪問控製列表(ACL)是必要的,因此隻有授權用戶可以訪問模型。通過一組acl,數據團隊管理員可以允許細粒度的訪問操作注冊模型在模型的生命周期,防止不當使用的模型或未經批準的模型轉換到生產階段。

在磚統一分析平台現在可以設置權限對個人注冊模式,遵循通用磚的訪問Beplay体育安卓版本控製和權限模型(AWS][Azure]。

對磚資產的訪問控製策略。

從注冊模型UI的磚工作空間,您可以指定用戶和組與適當的權限模型在注冊表中,類似於筆記本電腦或集群。

在模型中設置權限注冊使用acl UI

如下表所示,管理員可以分配模型中四個權限級別模型注冊注冊表:沒有權限,讀,編輯,管理。根據團隊成員的需求訪問模型,可以給予個人用戶或組的權限如下所示的能力。

能力	沒有權限	讀	編輯	管理
創建一個模型	X	X	X	X
在列表視圖模型及其模型版本		X	X	X
視圖模型的細節,其版本及其細節,請求階段過渡,活動,和工件下載uri		X	X	X
請求階段轉換模型版本		X	X	X
新版本添加到模型中			X	X
更新模型和版本描述			X	X
重命名模型				X
階段之間轉換的模型版本				X
批準、拒絕或取消請求模型版本階段過渡				X
修改權限				X
刪除模型和模型版本				X

注冊表訪問表模型,能力和權限

如何使用模型注冊中心

通常情況下,數據的科學家們使用MLflow將進行許多實驗中,每一個都有跟蹤和日誌的運行數量指標和參數。這個開發周期的過程中,他們會選擇最好的運行在一個實驗及其模型與注冊中心注冊。此後,注冊表會讓數據科學家跟蹤多個版本的模型發展為他們分配每個版本一個生命周期階段:暫存,生產,或存檔。

有兩種方法可以與MLflow交互模型注冊表(AWS][Azure]。首先是通過模型注冊用戶界麵集成了磚的工作空間,第二個是通過MLflow跟蹤客戶機api。後者提供MLOps工程師訪問注冊模型與CI / CD工具集成測試或檢查模型的運行及其元數據。

UI工作流模型注冊

注冊用戶界麵的模型是可以從磚工作區中。從模型中注冊界麵,可以進行以下活動作為工作流的一部分:

• 注冊一個模型運行的頁麵
• 編輯模型版本描述
• 過渡模型版本
• 視圖模型版本活動和注釋
• 顯示和搜索注冊模型
• 刪除一個模型版本

模型注冊api工作流

另一種方法與模型進行交互注冊表是使用MLflow模型味道或MLflow客戶跟蹤API接口。正如上麵列舉的UI中工作流,您可以執行類似的操作注冊模型api。這些api可用於瀏覽或結合外部工具,為夜間測試需要訪問模型。

負荷模型的模型注冊表

模型注冊的api允許你與你所選擇的持續集成和部署集成(CI / CD)詹金斯等工具來測試您的模型。例如,您的單元測試,通過適當的權限授予如上所述,可以加載一個版本的模型進行測試。

在下麵的代碼片段中,我們正在加載相同的模型的兩個版本:版本3登台和生產的最新版本。

進口mlflow.sklearn#加載版本3與模型:/ / URI作為參數model_version_uri =“模型:/ {model_name} / 3”.format (model_name =“scikit-learn-power-forecasting-model”)model_version_3 = mlflow.sklearn.load_model (model_version_uri)

詹金斯的工作已經獲得一個臨時版本3的模型進行測試。如果你想加載最新的生產版本,隻需更改模型:/ URI獲取生產模型。

#負荷模型在生產階段model_production_uri =“模型:/ {model_name} /生產”。格式(model_name =“scikit-learn-power-forecasting-model”)model_production = mlflow.sklearn.load_model (model_production_uri)

集成一個Apache火花工作

以及結合你所選擇的部署(CI / CD)工具,您可以加載模型從注冊表並使用它在你的火花批處理作業。一個常見的場景是你注冊模型作為加載火花UDF。

#加載模型作為引發udf進口mlflow.pyfuncbatch_df = spark.read.parquet ()特性=[“溫度”、“風速”、“濕度”)pyfunc_forecast_udf = mlflow.pyfunc。model_production_uri spark_udf(火花)prediction_batch_df = batch_df.withColumn (“預測”,pyfunc_forecast_udf功能(*))

檢查列表或搜索信息注冊模型

有時,你可能想要檢查一個注冊模型的信息通過一個編程接口來檢查MLflow實體信息模型。例如,您可以獲取所有在注冊表中注冊模型的列表和一個簡單的方法遍曆它的版本信息。

客戶= MlflowClient ()為rm在client.list_registered_models ():打印(f " name ={rm.name}”)((打印(f“run_id ={mv.run_id}”),打印(f”狀態={mv.current_stage}”),打印(f”版本={mv.version}”))為mv在rm.latest_versions]

這個輸出:

name = sk-learn-random-forest-reg-modelrun_id = dfe7227d2cae4c33890fe2e61aa8f54bcurrent_stage =生產版本= 1……

成百上千的模型,它可以麻煩閱讀或打印從這個調用返回的結果。一個更有效的方法是搜索一個特定的型號名稱和版本細節使用列表search_model_versions ()方法,並提供一個過濾器字符串,如“name = sk-learn-random-forest-reg-model”。

客戶= MlflowClient ()為mv在client.search_model_versions (“name = sk-learn-random-forest-reg-model”):pprint(dict (mv),縮進=4){“creation_timestamp”:1582671933246,“current_stage”:“生產”,“描述”:“一個隨機森林模型包含100決策樹”“scikit-learn訓練”,“last_updated_timestamp”:1582671960712,“名字”:“sk-learn-random-forest-reg-model”,“run_id”:“ae2cc01346de45f79a44a320aab1797b”,“源”:”。/ mlruns / 0 / ae2cc01346de45f79a44a320aab1797b /工件/ sklearn-model”,“狀態”:“準備好了”,“status_message”:沒有,“user_id”:(電子郵件保護),“版本”:1}…

總之,MLfow模型注冊可用默認情況下所有磚的客戶。beplay体育app下载地址作為毫升的中央樞紐模型,它提供了數據在大型組織團隊協作和共享模型,管理過渡,注釋和檢查血統。協作控製,管理員設置政策與acl授予權限訪問注冊模型。

最後,您可以與注冊中心交互使用磚工作區MLflow UI或MLflow api作為工作流模型生命周期的一部分。

開始與模型注冊表

準備開始還是自己試試?你可以閱讀更多關於MLflow模型注冊表和如何使用它AWS或Azure。或者你可以試著筆記本(一個例子AWS][Azure]

如果您是MLflow,讀開源1.7最新MLflow MLflow快速入門。生產用例,讀到管理MLflow磚上和開始使用MLflow模型注冊表。

如果你有興趣了解的最新發展和管理的最佳實踐毫升全生命周期與MLflow磚,加入我們的互動MLOps虛擬事件。