mlflow.org -磚- 13816

Joseph_B · ‎10-08-2021

2021 - 09年研討會:自動化毫升生命周期與磚機器學習(2 (2)

感謝大家加入!您可以訪問按需記錄在這裏和代碼在Github回購。

我們共享的一個子集問題問和回答整個會話,以及鏈接資源的網絡研討會的最後一張幻燈片。由於長度限製社區的帖子,我們會分裂這兩個。

得分和服務

我怎麼能在批處理或流媒體設置部署MLflow模型?
- 最簡單的方法是通常作為加載模型“pyfunc”模式(或相當於R / Scala / Java)和應用,作為一個Apache火花UDF(用戶定義函數)引發DataFrame,可批量或流。在磚,當你打開MLflow頁麵並單擊模型工件運行,你可以看到生成的代碼做的:DataFrame加載模型和應用它。
MLflow如何與第三方服務的REST API工具服務嗎?
- MLflow能夠部署模型為REST API服務第三方工具,使用內置的工具或定製的容器。AWS SageMaker和Azure毫升MLflow為部署提供了一個一行程序API調用;找到文檔的更多信息。
- 其他服務,您可以使用這些服務MLflow客戶端加載模型(例如,在您從頭構建一個容器,您使用負載API),或者您可以使用MLflow的工具來生成容器,然後可以進一步自定義(參見build-docker命令)。

工作和CI / CD

我怎麼能做CI / CD毫升管道在磚嗎?
- 這當然是一個很大的話題,但我要指出一些重要的特點和有用的資源。
- 代碼管理、經營的主要模式有:
  - 要麼使用磚回購與git管理代碼,允許您編輯和運行代碼在磚和在外部工具ide和CI / CD係統。
  - 或開發以外的磚在IDE和部署代碼的磚包/庫。
- CI / CD的工具,通常使用專用工具像詹金斯,特別是如果組織已經使用這種工具。
- 醫生一節開發工具和指導是有益的。
- 磚實驗室CICD-templates工具也是強大的程序化管理。
- 最近的博客文章提供了一個很好的例子,CI / CD回購。
我有什麼選擇作業調度和編製的磚嗎?
- 磚的工作提供了一種方法來封裝任務的工作。更新的多任務工作的支持允許多個任務鏈在一起。這些工作特性支持計劃、觸發器、權限、審計、通知、api等。
- 使用工作,您有兩個主要選項為調度和編製:
  - 隻使用磚工作:這是合理的,如果你隻是編排磚工作,不是磚以外的任務。
  - 使用一個外部協調器像氣流:這可以更好的如果你有更多樣的任務安排和/或更複雜的任務之間的依賴關係。
工作可以使用單一的機器,而不是集群?他們可以使用gpu ?
- 是的,對於互動的工作和自動工作,您可以配置集群單獨的節點模式。他們仍然可以運行(小)火花工作,和節省成本。
- 類似地,您可以創建交互式集群和自動化工作集群gpu。

數據

如果用戶從三角洲表讀取數據建立模型,是否有辦法給隻三角洲表而不是訪問底層文件對GCP GCS AWS S3 / Azure ADLS / ?
- 是的,我們建議使用表訪問控製列表(acl)表。這些提供細粒度的訪問控製可以連接到你的身份管理係統。看到文檔的詳細信息。
- 知道一個重要的路線圖項是統一目錄;看數據+人工智能2021年峰會主題要學習更多的知識。

資源鏈接在最後研討會幻燈片

博客和談判
- MLOps博客係列
- 數據& AI峰會2021
  - 學會使用磚毫升全生命周期
  - 學習使用磚對數據的科學
指南和文檔
免費試用的磚://www.eheci.com/try-databricks

你的後續問題添加到線程!