磚運行時機器學習

磚運行時對機器學習(磚運行時的ML)自動創建一個集群優化機器學習。磚運行時毫升集群包括最受歡迎的機器學習庫,如TensorFlow PyTorch, Keras XGBoost,還包括庫需要分布式Horovod等培訓。使用磚運行時毫升加速集群創建並確保安裝的庫版本是兼容的。

關於使用磚進行機器學習的完整信息和深度學習,明白了磚機的學習指導

每個磚的內容信息運行時ML版本,查看發布說明

磚運行時毫升是建立在磚運行時。例如,磚的運行時7.3 LTS機器學習是建立在運行時7.3 LTS磚。庫包含在基礎磚磚運行時列出運行時發布說明

介紹磚運行時機器學習

本教程是專為新用戶的磚運行時毫升。它需要大約10分鍾的時間,並顯示了一個完整的端到端示例加載表格數據,訓練模型,分布式hyperparameter調優和推理模型。它還演示了如何使用MLflow API和MLflow模型注冊表。

請注意

以下的筆記本可能包括功能不可用這個版本的磚在穀歌的雲。

磚教程的筆記本

在新標簽頁打開筆記本

庫包含在磚運行時毫升

磚運行時毫升包括各種流行毫升庫。每個版本的庫更新包括新的特性和修複。

磚已指定的一個子集作為頂級庫支持庫。對於這些庫,磚提供更快的更新節奏,與每個運行時版本更新到最新的包版本(除非依賴性衝突)。磚還提供了先進的支持、測試和嵌入式為頂級庫優化。

提供頂級的完整列表和其他庫,為每個可用的運行時看到以下文章:

如何使用磚運行時毫升

除了預裝庫,磚運行時毫升不同於磚集群中運行時的配置和你如何管理Python包。

使用磚創建一個集群運行時毫升

當你創建一個集群,選擇一個從磚磚運行時ML版本的運行時版本下拉。兩個CPU和GPU-enabled毫升運行時是可用的。

選擇磚運行時毫升

如果你選擇了一個GPU-enabled毫升運行時,會提示您選擇一個兼容的驅動程序類型工作類型。不兼容的實例類型在下框中顯示為灰色。以下列出GPU-enabled實例類型GPU-Accelerated標簽。

重要的

圖書館在你的工作區自動安裝到所有集群可以與庫包含在磚運行時毫升衝突。在您創建一個集群磚運行時的ML,清除在所有集群安裝自動複選框為衝突的庫。看到釋放筆記包含的庫列表每個版本的磚運行時毫升。

管理Python包

在磚運行時9.0毫升以上,virtualenv使用包管理器安裝Python包。所有Python包安裝在一個環境:/磚/ python3

磚運行時的8.4毫升,下麵Conda使用包管理器安裝Python包。所有Python包安裝在一個環境:/磚/ python2在使用Python 2和集群上/磚/ python3在集群中使用Python 3。開關(或激活)Conda環境不支持。

Python庫管理的更多信息,請參閱

支持自動化的機器學習

磚運行時毫升包括工具來自動化模型開發過程,幫助您有效地找到最好的執行模型。

  • AutoML自動創建、曲調和評估一組模型並創建一個Python筆記本每次運行的源代碼,這樣你就可以審查,複製和修改代碼。

  • 管理MLflow管理端到端模型的生命周期,包括跟蹤實驗運行,部署和共享模型,並維護一個集中式模型注冊表。

  • Hyperopt,增強SparkTrials類,自動化和分發毫升模型參數調優。

限製

磚不支持運行時ML:

  • TableACLs集群

  • 集群spark.databricks.pyspark.enableProcessIsolation配置設置為真正的