什麼是托管MLflow?
托管MLflow構建在MLflow,一個由Databricks開發的Beplay体育安卓版本開源平台,幫助管理具有企業可靠性、安全性和規模的完整機器學習生命周期。
![](http://www.eheci.com/www/wp-content/uploads/2021/06/MLflow-logo-pos-TM-1.png)
好處
模型開發
通過標準化框架開發可用於生產的機器學習模型,加速並簡化機器學習生命周期管理。
使用托管的MLflow Recipes,您可以引導ML項目,輕鬆地執行快速迭代,並將高質量的模型大規模地交付到生產中。
實驗跟蹤
使用任何ML庫、框架或語言運行實驗,並自動跟蹤每個實驗的參數、指標、代碼和模型。通過在Databricks上使用MLflow,您可以安全地共享、管理和比較實驗結果以及相應的工件和代碼版本——這要感謝與Databricks工作區和筆記本的內置集成。
模型管理
使用一個中心位置來發現和共享ML模型,協作將它們從實驗轉移到在線測試和生產,與審批和治理工作流以及CI/CD管道集成,並監控ML部署及其性能。的MLflow模型注冊表促進專業知識和知識的共享,並幫助您保持控製。
模型部署
通過與Docker容器、Azure ML或Amazon SageMaker的內置集成,在Apache Spark™或REST api上快速部署用於批處理推理的生產模型。借助Databricks上的Managed MLflow,您可以使用Databricks作業調度器和自動管理集群來操作和監視生產模型,以根據業務需求進行擴展。
特性
MLflow跟蹤
MLflow跟蹤:自動記錄每次運行所使用的參數、代碼版本、度量和工件Python,休息,R API,Java API
MLflow跟蹤服務器:使用內置跟蹤服務器快速開始,在一個地方記錄所有運行和實驗。在Databricks上無需配置。
實驗管理:在工作區中使用訪問控製和搜索查詢創建、保護、組織、搜索和可視化實驗。
MLflow運行側邊欄:從筆記本中自動跟蹤運行,並為每次運行捕獲筆記本的快照,以便始終可以返回到代碼的以前版本。
使用運行記錄數據:將參數、數據集、指標、工件等記錄為運行到本地文件、SQLAlchemy兼容數據庫或遠程跟蹤服務器的日誌。
三角洲湖泊一體化:跟蹤使用Delta Lake快照為模型提供數據的大規模數據集。
構件存儲:S3桶、NFS共享文件係統、模型等大文件存放在Amazon S3、Azure Blob Storage、穀歌Cloud Storage、SFTP server、NFS、本地文件路徑中。
MLflow食譜
簡化項目啟動:MLflow Recipes提供了用於構建和部署ML模型的開箱即用連接組件。
加速模型迭代:MLflow Recipes為模型迭代創建了標準化的、可重用的步驟——使過程更快、更便宜。
自動化團隊交接:獨立的結構提供模塊化的生產就緒代碼,實現從實驗到生產的自動切換。
MLflow項目
MLflow項目:MLflow項目允許您指定軟件環境用於執行您的代碼。MLflow目前支持以下項目環境:Conda環境、Docker容器環境和係統環境。任何Git回購或本地目錄都可以被視為MLflow項目。
遠程執行方式:運行MLflow項目從Git或在Databricks集群上遠程使用Databricks CLI快速擴展您的代碼。
MLflow模型注冊表
中央存儲庫:方法注冊MLflow模型MLflow模型注冊表.注冊的模型具有唯一的名稱、版本、階段和其他元數據。
模型版本:在更新時自動跟蹤已注冊模型的版本。
模型階段:為每個模型版本分配預設的或自定義的階段,如“分期”和“生產”來表示模型的生命周期。
CI/CD工作流集成:記錄階段轉換、請求、審查和批準變更,作為CI/CD管道的一部分,以便更好地控製和治理。
模型階段轉換:將新的注冊事件或更改記錄為自動記錄用戶、更改和其他元數據(如注釋)的活動。
MLflow模型
MLflow模型:一種包裝機器學習模型的標準格式,可以在各種下遊工具中使用——例如,通過REST API或Apache Spark上的批處理推理進行實時服務。
模型定製:使用自定義Python模型而且定製的味道用於來自ML庫的模型,這些模型不受MLflow內置風格的顯式支持。
內置模型口味:MLflow提供了幾種可能在您的應用程序中有用的標準風格,如Python和R函數、H20、Keras、MLeap、PyTorch、scikit-learn、Spark MLlib、TensorFlow和ONNX。
內置部署工具:通過Apache Spark UDF在本地機器上快速部署Databricks,或其他幾個生產環境,如Microsoft Azure ML、Amazon SageMaker和為部署構建Docker映像.
請參閱Azure Databricks和AWS的產品新聞,了解有關我們最新功能的更多信息。
MLflow產品的比較
它是如何工作的
MLflow是一組輕量級的api和用戶界麵,可以在機器學習工作流中與任何ML框架一起使用。它包括四個部分:MLflow跟蹤,MLflow項目,MLflow模型而且MLflow模型注冊表
MLflow跟蹤:記錄和查詢實驗:代碼、數據、配置和結果。
MLflow項目:可複製的包裝格式可在任何平台上運行。Beplay体育安卓版本
MLflow模型:發送模型到不同部署工具的通用格式。
MLflow模型注冊表集中式存儲庫,在整個生命周期內協同管理MLflow模型。beplay娱乐ios
在Databricks上管理MLflow是MLflow的完全管理版本,為從業者提供跨Databricks筆記本電腦、作業和數據存儲的可再現性和實驗管理,並具有Databricks筆記本電腦、作業和數據存儲的可靠性、安全性和可伸縮性統一數據分析平台Beplay体育安卓版本.
![](http://www.eheci.com/www/wp-content/uploads/2021/06/log-your-first-run-as-an-experiment-1.png)
![](http://www.eheci.com/www/wp-content/uploads/2021/06/execute-runs-remotely-as-databricks-jobs.png)
![](http://www.eheci.com/www/wp-content/uploads/2021/06/deploy-a-model-for-batch-inference.png)