有什麼新的MLflow嗎?按需網絡研討會和faq現在可用!

通過克萊門斯Mewald

2019年6月26日在工程的博客

分享這篇文章

6月6日,我們的團隊舉辦了一個研討會——生活管理完整的機器學習生命周期:有什麼新的MLflow產品管理總監——克萊門斯Mewald磚。

機器學習的發展帶來許多新的複雜性超出了傳統的軟件開發生命周期。與傳統的軟件開發,毫升開發者想嚐試多個算法,工具和參數來得到最好的結果,他們需要跟蹤這個信息複製工作。此外,開發人員需要使用許多不同的係統productionize模型。

解決這些挑戰,去年6月,我們推出了MLflow,一個開源的平台來管理機器學習的完整生命周期。Beplay体育安卓版本最近,我們宣布了一般可用性管理MLflow磚和MLflow 1.0版本。

在這個網絡研討會中,我們回顧了新的和現有MLflow功能使您可以:

跟蹤實驗運行和結果在框架。
執行項目遠程磚集群,並迅速繁殖跑步。
快速productionize模型使用磚生產工作,集裝箱碼頭工人,Azure ML,或亞馬遜SageMaker

我們演示了使用這些概念筆記本和教程從我們的公共文檔,這樣您就可以在自己的節奏練習。如果你想免費獲取磚統一分析平台Beplay体育安卓版本並嚐試我們的筆記本,你可以訪問在這裏免費試用。

到最後,我們舉行了一個問答和下麵的問題和答案。

問:除了有問題的所有設置,有沒有缺失的功能/缺點使用MLflow本地而不是在雲數據磚?

磚是非常致力於開源社區。我們的創始人最初的創造者Apache火花^TM-廣泛采用開源的統一分析引擎和我們公司還積極維護和有助於開源火花代碼。同樣的,對於三角洲湖和MLflow同樣,我們致力於幫助開源社區受益於這些產品,以及這些產品的提供開箱即用的版本管理。

當我們想到特性提供開源或三角洲湖或MLflow托管版本,我們不認為我們是否應該保留一個特性在一個或另一個版本。我們想到什麼附加功能我們可以提供,隻有意義在托管和管理為企業用戶版本。因此,從管理的所有利益MLflow磚上,你不需要擔心設置,管理服務器,所有這些集成與磚統一分析平台,使它無縫地工作與其它工作流程。Beplay体育安卓版本訪問//www.eheci.com/product/managed-mlflow要學習更多的知識。

問:MLflow 1.0支持Windows嗎?

是的,我們添加了支持MLflow客戶機在windows上運行。請看到我們的發行說明在這裏。

問:MLflow補充或與TensorFlow競爭?

這是一個完美的補充。你可以訓練TensorFlow MLflow模型和日誌的指標和模型。

問:有多少不同的指標我們可以跟蹤使用MLflow嗎?有什麼限製嗎?

MLflow不施加任何限製,您可以跟蹤的數量指標。唯一的限製是後端,用於存儲這些指標。

問:如何並行化模型和MLflow培訓嗎?

MLflow是不可知論者毫升框架用來訓練模型。如果你使用TensorFlow或PyTorch可以分發您的培訓工作HorovodRunner運行,使用MLflow記錄您的實驗和模型。

問:是否有辦法批量提取MLflow信息進行操作分析(如有多少培訓運行在去年最後一個季度。有多少人培訓模型等)?

我們正在研究一種方法來更容易MLflow跟蹤元數據提取到一個格式,你可以做數據科學,例如成熊貓dataframe。

問:是否可以培訓和建立一個MLflow模型使用一個平台(例如像磚用TensorFlow PySpark),然後在另一個平Beplay体育安卓版本台重用MLflow模型(例如在R使用RStudio)得分輸入嗎?

MLflow模型格式和抽象允許使用任何MLflow模型從任何地方你可以加載它們。例如,您可以使用python函數味道從任何python庫調用模型,或r r味道稱之為作為一個函數的功能。MLflow不重寫模型到一個新的格式,但你總是可以暴露一個MLflow模型作為REST端點,然後調用它的語言無關的方式。

問:為一個模型,是什麼磚之外的部署選項,例如。Sagemaker。你有任何計劃部署AWSλ?

我們提供幾種方法您可以部署MLflow模型,包括亞馬遜SageMaker,微軟Azure ML,碼頭工人容器、火花UDF和更多…看到這個頁麵為一個列表。給一個例子如何使用與AWSλMLflow模型,您可以使用python函數味道使您能夠調用該模型從任何地方你可以叫一個python函數。

問:MLflow可以使用python程序之外的磚嗎?

是的,MLflow是一個開源的產品和可以找到GitHub和PyPi。

問:什麼是磚的定價模型嗎?

請參閱//www.eheci.com/product/pricing

問:你如何看待MLflow演變與氣流?

我們正在調查的方式來支持多步驟的工作流。我們可以這樣做的方法之一是通過使用氣流。我們還沒有做出這些決定。

問:建議部署多個基本模型的多步模型例如合奏。

現在可以部署這些MLflow模型通過寫代碼來合奏其他模型。例如類似於多步驟流程實現示例。

問:MLflow特性工程數據提供了一個框架?

沒有特別,但是您可以使用任何其他框架MLflow一起。