磚Autologging

磚Autologging是沒有代碼擴展的解決方案MLflow自動記錄提供自動實驗跟蹤磚機器學習訓練。磚Autologging、模型參數、標準、文件,自動地獲取和血統信息,當你的火車模型從不同的流行的機器學習庫。培訓記錄MLflow跟蹤運行。模型文件跟蹤,這樣你可以很容易地記錄他們MLflow模型注冊和部署它們實時得分Serverless實時推理或經典MLflow模型在磚。

下麵的視頻展示了磚Autologging scikit-learn模型訓練在交互式Python筆記本。跟蹤信息是自動捕獲和顯示在實驗運行欄和MLflow UI。

Autologging例子

需求

  • 與磚磚Autologging通常可用在所有地區運行時10.3毫升以上。

  • 與磚磚Autologging可用選擇預覽區域運行時9.0毫升以上。

它是如何工作的

當你高度交互式Python筆記本磚集群,磚Autologging調用mlflow.autolog ()建立跟蹤模型訓練。當你在筆記本上火車模型,模型訓練信息自動跟蹤MLflow跟蹤。信息關於這個模型培訓信息的保護和管理,明白了安全性和數據管理。

的默認配置mlflow.autolog ()電話是:

mlflow。autolog(log_input_examples=假,log_model_signatures=真正的,log_models=真正的,禁用=假,獨家=真正的,disable_for_unsupported_versions=真正的,沉默=真正的)

你可以定製autologging配置。

使用

使用磚Autologging,火車在一個機器學習模型支持框架使用Python交互式數據磚筆記本。磚Autologging血統信息自動記錄模型,參數和指標MLflow跟蹤。你也可以定製數據磚Autologging的行為。

請注意

磚Autologging並不適用於創建運行使用MLflow流利的API與mlflow.start_run ()。在這些情況下,您必須調用mlflow.autolog ()為了節省autologged MLflow運行的內容。看到跟蹤附加內容。

自定義日誌行為

自定義日誌記錄、使用mlflow.autolog ()。這個函數提供了配置參數,使模型日誌記錄(log_models),收集輸入的例子(log_input_examples),配置警告(沉默),等等。

跟蹤附加內容

跟蹤其他指標、參數、文件和元數據與MLflow由磚Autologging運行,在磚交互式Python的筆記本遵循以下步驟:

  1. 調用mlflow.autolog ()與獨家= False。

  2. 開始一個MLflow運行使用mlflow.start_run ()。你可以用這個電話與mlflow.start_run ();當你這樣做時,運行結束後自動完成。

  3. 使用MLflow跟蹤方法,如mlflow.log_param (),跟蹤訓練的內容。

  4. 火車一個或多個機器學習模型在磚Autologging支持的框架。

  5. 使用MLflow跟蹤方法,如mlflow.log_metric (),跟蹤的崗位培訓內容。

  6. 如果你沒有使用與mlflow.start_run ()在步驟2中,最後MLflow運行使用mlflow.end_run ()。

例如:

進口mlflowmlflow。autolog(獨家=假)與mlflow。start_run():mlflow。log_param(“example_param”,“example_value”)# <模型訓練代碼>mlflow。log_param(“example_metric”,5)

禁用磚Autologging

禁用磚Autologging磚交互式Python的筆記本,電話mlflow.autolog ()與禁用= True:

進口mlflowmlflow。autolog(禁用=真正的)

管理員也可以禁用磚Autologging集群在一個工作區先進的選項卡的管理控製台。集群必須重新啟動此更改生效。

支持環境和框架

磚Autologging支持交互式Python筆記本和可供毫升框架如下:

  • scikit-learn

  • Apache火花MLlib

  • TensorFlow

  • Keras

  • PyTorch閃電

  • XGBoost

  • LightGBM

  • 膠子

  • 快。人工智能(版本1. x)

  • statsmodels。

有關支持的每個框架的更多信息,見MLflow自動記錄。

安全性和數據管理

所有模型訓練信息跟蹤與磚Autologging存儲在MLflow跟蹤和安全MLflow實驗權限。您可以分享、修改或刪除模型訓練信息使用MLflow跟蹤API或UI。

政府

管理員可以啟用或禁用所有互動磚Autologging筆記本會話在他們的工作空間先進的選項卡的管理控製台。變化不生效,直到重新啟動集群。

限製

  • 在磚磚Autologging不支持運行時8.4毫升或以下,也沒有在任何版本的磚運行時。使用autologging在這些運行時版本,您可以顯式地調用mlflow.autolog ()。

  • 在磚磚Autologging不支持工作。使用autologging從工作,可以顯式地調用mlflow.autolog ()。

  • 磚Autologging隻有司機節點上啟用你的磚集群。使用來自工人autologging節點,您必須顯式地調用mlflow.autolog ()從代碼中執行每個工人。

  • 不支持的XGBoost scikit-learn集成。

Apache火花MLlib、Hyperopt和自動化MLflow跟蹤

磚Autologging不會改變現有的自動化MLflow跟蹤集成的行為Apache火花MLlib和Hyperopt。

請注意

在磚運行時10.1毫升,禁用自動MLflow跟蹤集成Apache MLlib火花CrossValidator和TrainValidationSplit模型也禁用所有Apache火花MLlib磚Autologging特性的模型。