磚的運行時11.3 LTS機器學習

磚的運行時11.3 LTS機器學習提供了一個準備好了環境科學基於機器學習和數據磚運行時11.3 LTS。磚運行時毫升含有許多流行的機器學習庫,包括TensorFlow PyTorch, XGBoost。磚運行時毫升包括AutoML,一個工具來自動訓練機器學習管道。磚運行時毫升也支持使用Horovod分布深度學習培訓。

請注意

LTS意味著這個版本長期支持。看到(LTS)生命周期的長期支持。

更多信息,包括指令創建磚集群運行時毫升、明白了介紹磚運行時機器學習。

新特性和改進

磚運行時11.3 LTS毫升是磚運行時的11.3 LTS之上。在磚有什麼新信息運行時11.3 LTS,包括Apache火花MLlib和SparkR,看到磚運行時11.3 LTS發行說明。

增強磚AutoML

磚AutoML現在支持使用現有的功能特性表存儲在你的AutoML實驗。有關詳細信息,請參見功能存儲整合。

試驗筆記本現在AutoML包含生成的代碼片段,讓用戶重新運行hyperparameter調優。

AutoML現在支持DecimalType特性。

錯誤修複

磚運行時11.3 LTS毫升包括一個升級版的sparkdl.xgboost。之前版本的sparkdl.xgboost在這個版本包含錯誤,是固定的,所以磚建議圖書館的用戶升級到磚運行時11.3 LTS毫升。

準備將來的版本中

即將發布的磚運行時毫升將包括sklearn1.0版。參觀sklearn文檔如何準備這個變化的信息。

運行時毫升包含兩個磚openblas包。的/ opt / OpenBLAS包在磚棄用運行時11.3 LTS毫升和即將發布的將被刪除。

係統環境

磚的係統環境運行時11.3 LTS毫升不同於磚運行時11.3 LTS如下:

磚運行時11.3 LTS毫升包括XGBoost 1.6.1,不支持GPU集群計算能力5.2甚至更低。

庫

下麵列表中包含的庫磚運行時11.3 LTS毫升,不同於那些包含在運行時11.3 LTS磚。

Python庫

磚運行時11.3 LTS毫升使用Virtualenv Python包管理,包括許多流行毫升包。

除了指定的包在下麵幾節中,磚運行時11.3 LTS毫升還包括以下方案:

  • hyperopt 0.2.7.db1

  • sparkdl 2.3.0-db3

  • feature_store 0.7.0

  • automl 1.13.2

複製的磚在本地Python運行時毫升Python環境的虛擬環境,下載requirements-11.3.txt文件和運行皮普安裝- rrequirements-11.3.txt。這個命令安裝所有的磚運行時毫升使用開源庫,但沒有安裝庫由磚等databricks-automl,databricks-feature-store,或磚叉hyperopt。

Python庫對CPU集群

圖書館

版本

圖書館

版本

圖書館

版本

absl-py

1.0.0

argon2-cffi

20.1.0

阿斯特

0.8.1

astunparse

1.6.3

async-generator

1.10

attrs

21.2.0

azure-core

1.22.1

azure-cosmos

4.2.0

backcall

0.2.0

backports.entry-points-selectable

1.1.1

bcrypt

4.0.0

黑色的

22.3.0

漂白劑

4.0.0

bli

0.7.8

boto3

1.21.18

botocore

1.24.18

cachetools

5.2.0

目錄

2.0.8

certifi

2021.10.8

cffi

1.14.6

chardet

4.0.0

charset-normalizer

2.0.4

點擊

8.0.3

cloudpickle

2.0.0

cmdstanpy

0.9.68

糖果

0.0.1

configparser

5.2.0

convertdate

測試盒框

密碼學

3.4.8

周期計

0.10.0

cymem

2.0.6

Cython

0.29.24

databricks-automl-runtime

0.2.11

databricks-cli

0.17.3

dbl-tempo

0.1.12

dbus-python

1.2.16

debugpy

1.4.1

裝飾

5.1.0

defusedxml

是0.7.1

蒔蘿

0.3.4

diskcache

5.4.0

distlib

0.3.6

entrypoints

0.3

ephem

4.1.3

facets-overview

1.0.0

fasttext

0.9.2

filelock

3.3.1

瓶

1.1.2

flatbuffers

1.12

fsspec

2021.8.1

未來

0.18.2

使驚訝

0.4.0

gitdb

4.0.9

GitPython

3.1.27

google-auth

2.6.0

google-auth-oauthlib

0.4.6

google-pasta

0.2.0

grpcio

1.44.0

gunicorn

20.1.0

gviz-api

1.10.0

h5py

3.3.0

hijri-converter

2.2.4

假期

0.15

horovod

0.25.0

htmlmin

0.1.12

huggingface-hub

0.9.1

idna

3.2

ImageHash

4.3.0

imbalanced-learn

0.8.1

importlib-metadata

4.8.1

ipykernel

6.12.1

ipython

7.32.0

ipython-genutils

0.2.0

ipywidgets

7.7.0

isodate

0.6.1

itsdangerous

2.0.1

絕地武士

0.18.0

Jinja2

14

jmespath

0.10.0

joblib

1.0.1

joblibspark

0.5.0

jsonschema

3.2.0

jupyter-client

6.1.12

jupyter-core

4.8.1

jupyterlab-pygments

0.1.2

jupyterlab-widgets

1.0.0

keras

2.9.0

Keras-Preprocessing

1.1.2

kiwisolver

1.3.1

korean-lunar-calendar

0.3.1

langcodes

3.3.0

libclang

14.0.6

lightgbm

3.3.2

llvmlite

0.37.0

LunarCalendar

0.0.9

尖吻鯖鯊

1.2.0

減價

3.3.6

MarkupSafe

2.0.1

matplotlib

3.4.3

matplotlib-inline

0.1.2

missingno

0.5.1

使走調

0.8.4

mleap

0.20.0

mlflow-skinny

1.29.0

多重方法

1.9

murmurhash

1.0.8

mypy-extensions

0.4.3

nbclient

0.5.3

nbconvert

6.1.0

nbformat

5.1.3

nest-asyncio

1.5.1

networkx

2.6.3

nltk

3.6.5

筆記本

6.4.5

numba

0.54.1

numpy

1.20.3

oauthlib

3.2.0

opt-einsum

3.3.0

包裝

21.0

熊貓

1.3.4

pandas-profiling

3.1.0

pandocfilters

3

paramiko

2.9.2

parso

0.8.2

pathspec

0.9.0

表“感覺”

0.6.2

容易受騙的人

0.5.2

petastorm

0.11.4

pexpect

4.8.0

phik

0.12.2

pickleshare

0.7.5

枕頭

8.4.0

皮普

21.2.4

Beplay体育安卓版本platformdirs

2.5.2

情節

5.9.0

pmdarima

1.8.5

棒

3.0.7

prometheus-client

0.11.0

prompt-toolkit

3.0.20

先知

1.0.1

protobuf

3.19.4

psutil

5.8.0

psycopg2

2.9.3

ptyprocess

0.7.0

pyarrow

7.0.0

pyasn1

0.4.8

pyasn1-modules

0.2.8

pybind11

2.10.0

pycparser

2.20

pydantic

1.9.2

Pygments

2.10.0

PyGObject

3.36.0

PyJWT

2.5.0

PyMeeus

0.5.11

PyNaCl

1.5.0

pyodbc

4.0.31

pyparsing

3.0.4

pyrsistent

0.18.0

pystan

2.19.1.1

python-dateutil

2.8.2

python編輯器

1.0.4

pytz

2021.3

PyWavelets

1.1.1

PyYAML

6.0

pyzmq

22.2.1

正則表達式

2021.8.3

請求

2.26.0

requests-oauthlib

1.3.1

requests-unixsocket

0.2.0

rsa

4.9

s3transfer

0.5.2

scikit-learn

0.24.2

scipy

1.7.1上

seaborn

0.11.3

Send2Trash

1.8.0

setuptools

58.0.4

setuptools-git

1.2

世鵬科技電子

0.41.0

simplejson

3.17.6

六個

1.16.0

切片機

0.0.7

smart-open

5.2.1

smmap

5.0.0

寬大的

3.4.1

spacy-legacy

3.0.10

spacy-loggers

1.0.3

spark-tensorflow-distributor

1.0.0

sqlparse

0.4.2

srs

2.4.4

ssh-import-id

5.10

statsmodels

0.12.2

彙總

0.8.9

tangled-up-in-unicode

0.1.0

韌性

8.0.1

tensorboard

2.9.1

tensorboard-data-server

0.6.1

tensorboard-plugin-profile

2.8.0

tensorboard-plugin-wit

1.8.1

tensorflow-cpu

2.9.1

tensorflow-estimator

2.9.0

tensorflow-io-gcs-filesystem

0.27.0

termcolor

2.0.1

terminado

0.9.4

testpath

0.5.0

thinc

8.1.2

threadpoolctl

2.2.0

tokenize-rt

4.2.1

分詞器

0.12.1

tomli

2.0.1

火炬

1.12.1 + cpu

torchvision

0.13.1 + cpu

龍卷風

6.1

tqdm

4.62.3

traitlets

5.1.0

變形金剛

4.21.2

打字機

0.4.2

typing-extensions

3.10.0.2

ujson

4.0.2

unattended-upgrades

0.1

urllib3

1.26.7

virtualenv

20.8.0

願景

0.7.4

芥末醬

0.10.1

wcwidth

0.2.5

webencodings

0.5.1

websocket-client

1.3.1

Werkzeug

2.0.2

輪

0.37.0

widgetsnbextension

3.6.0

打包

1.12.1

xgboost

1.6.2

氧化鋅碘仿糊

3.6.0

Python庫在GPU集群

圖書館

版本

圖書館

版本

圖書館

版本

absl-py

1.0.0

argon2-cffi

20.1.0

阿斯特

0.8.1

astunparse

1.6.3

async-generator

1.10

attrs

21.2.0

azure-core

1.22.1

azure-cosmos

4.2.0

backcall

0.2.0

backports.entry-points-selectable

1.1.1

bcrypt

4.0.0

黑色的

22.3.0

漂白劑

4.0.0

bli

0.7.8

boto3

1.21.18

botocore

1.24.18

cachetools

5.2.0

目錄

2.0.8

certifi

2021.10.8

cffi

1.14.6

chardet

4.0.0

charset-normalizer

2.0.4

點擊

8.0.3

cloudpickle

2.0.0

cmdstanpy

0.9.68

糖果

0.0.1

configparser

5.2.0

convertdate

測試盒框

密碼學

3.4.8

周期計

0.10.0

cymem

2.0.6

Cython

0.29.24

databricks-automl-runtime

0.2.11

databricks-cli

0.17.3

dbl-tempo

0.1.12

dbus-python

1.2.16

debugpy

1.4.1

裝飾

5.1.0

defusedxml

是0.7.1

蒔蘿

0.3.4

diskcache

5.4.0

distlib

0.3.6

entrypoints

0.3

ephem

4.1.3

facets-overview

1.0.0

fasttext

0.9.2

filelock

3.3.1

瓶

1.1.2

flatbuffers

1.12

fsspec

2021.8.1

未來

0.18.2

使驚訝

0.4.0

gitdb

4.0.9

GitPython

3.1.27

google-auth

2.6.0

google-auth-oauthlib

0.4.6

google-pasta

0.2.0

grpcio

1.44.0

gunicorn

20.1.0

gviz-api

1.10.0

h5py

3.3.0

hijri-converter

2.2.4

假期

0.15

horovod

0.25.0

htmlmin

0.1.12

huggingface-hub

0.9.1

idna

3.2

ImageHash

4.3.0

imbalanced-learn

0.8.1

importlib-metadata

4.8.1

ipykernel

6.12.1

ipython

7.32.0

ipython-genutils

0.2.0

ipywidgets

7.7.0

isodate

0.6.1

itsdangerous

2.0.1

絕地武士

0.18.0

Jinja2

14

jmespath

0.10.0

joblib

1.0.1

joblibspark

0.5.0

jsonschema

3.2.0

jupyter-client

6.1.12

jupyter-core

4.8.1

jupyterlab-pygments

0.1.2

jupyterlab-widgets

1.0.0

keras

2.9.0

Keras-Preprocessing

1.1.2

kiwisolver

1.3.1

korean-lunar-calendar

0.3.1

langcodes

3.3.0

libclang

14.0.6

lightgbm

3.3.2

llvmlite

0.37.0

LunarCalendar

0.0.9

尖吻鯖鯊

1.2.0

減價

3.3.6

MarkupSafe

2.0.1

matplotlib

3.4.3

matplotlib-inline

0.1.2

missingno

0.5.1

使走調

0.8.4

mleap

0.20.0

mlflow-skinny

1.29.0

多重方法

1.9

murmurhash

1.0.8

mypy-extensions

0.4.3

nbclient

0.5.3

nbconvert

6.1.0

nbformat

5.1.3

nest-asyncio

1.5.1

networkx

2.6.3

nltk

3.6.5

筆記本

6.4.5

numba

0.54.1

numpy

1.20.3

oauthlib

3.2.0

opt-einsum

3.3.0

包裝

21.0

熊貓

1.3.4

pandas-profiling

3.1.0

pandocfilters

3

paramiko

2.9.2

parso

0.8.2

pathspec

0.9.0

表“感覺”

0.6.2

容易受騙的人

0.5.2

petastorm

0.11.4

pexpect

4.8.0

phik

0.12.2

pickleshare

0.7.5

枕頭

8.4.0

皮普

21.2.4

Beplay体育安卓版本platformdirs

2.5.2

情節

5.9.0

pmdarima

1.8.5

棒

3.0.7

prompt-toolkit

3.0.20

先知

1.0.1

protobuf

3.19.4

psutil

5.8.0

psycopg2

2.9.3

ptyprocess

0.7.0

pyarrow

7.0.0

pyasn1

0.4.8

pyasn1-modules

0.2.8

pybind11

2.10.0

pycparser

2.20

pydantic

1.9.2

Pygments

2.10.0

PyGObject

3.36.0

PyJWT

2.5.0

PyMeeus

0.5.11

PyNaCl

1.5.0

pyodbc

4.0.31

pyparsing

3.0.4

pyrsistent

0.18.0

pystan

2.19.1.1

python-dateutil

2.8.2

python編輯器

1.0.4

pytz

2021.3

PyWavelets

1.1.1

PyYAML

6.0

pyzmq

22.2.1

正則表達式

2021.8.3

請求

2.26.0

requests-oauthlib

1.3.1

requests-unixsocket

0.2.0

rsa

4.9

s3transfer

0.5.2

scikit-learn

0.24.2

scipy

1.7.1上

seaborn

0.11.3

Send2Trash

1.8.0

setuptools

58.0.4

setuptools-git

1.2

世鵬科技電子

0.41.0

simplejson

3.17.6

六個

1.16.0

切片機

0.0.7

smart-open

5.2.1

smmap

5.0.0

寬大的

3.4.1

spacy-legacy

3.0.10

spacy-loggers

1.0.3

spark-tensorflow-distributor

1.0.0

sqlparse

0.4.2

srs

2.4.4

ssh-import-id

5.10

statsmodels

0.12.2

彙總

0.8.9

tangled-up-in-unicode

0.1.0

韌性

8.0.1

tensorboard

2.9.1

tensorboard-data-server

0.6.1

tensorboard-plugin-profile

2.8.0

tensorboard-plugin-wit

1.8.1

tensorflow

2.9.1

tensorflow-estimator

2.9.0

tensorflow-io-gcs-filesystem

0.27.0

termcolor

2.0.1

terminado

0.9.4

testpath

0.5.0

thinc

8.1.2

threadpoolctl

2.2.0

tokenize-rt

4.2.1

分詞器

0.12.1

tomli

2.0.1

火炬

1.12.1 + cu113

torchvision

0.13.1 + cu113

龍卷風

6.1

tqdm

4.62.3

traitlets

5.1.0

變形金剛

4.21.2

打字機

0.4.2

typing-extensions

3.10.0.2

ujson

4.0.2

unattended-upgrades

0.1

urllib3

1.26.7

virtualenv

20.8.0

願景

0.7.4

芥末醬

0.10.1

wcwidth

0.2.5

webencodings

0.5.1

websocket-client

1.3.1

Werkzeug

2.0.2

輪

0.37.0

widgetsnbextension

3.6.0

打包

1.12.1

xgboost

1.6.2

氧化鋅碘仿糊

3.6.0

R庫

R庫的完全相同R庫在運行時11.3 LTS磚。

Java和Scala庫(Scala 2.12集群)

除了Java和Scala庫磚運行時11.3 LTS,磚運行時11.3 LTS毫升包含以下jar:

CPU集群

組ID

工件ID

版本

com.typesafe.akka

akka-actor_2.12

2.5.23

ml.combust.mleap

mleap-databricks-runtime_2.12

v0.20.0-db1

ml.dmlc

xgboost4j-spark_2.12

1.6.2

ml.dmlc

xgboost4j_2.12

1.6.2

org.graphframes

graphframes_2.12

0.8.2-db1-spark3.2

org.mlflow

mlflow-client

1.29.0

org.scala-lang.modules

scala-java8-compat_2.12

0.8.0

org.tensorflow

spark-tensorflow-connector_2.12

1.15.0

GPU集群

組ID

工件ID

版本

com.typesafe.akka

akka-actor_2.12

2.5.23

ml.combust.mleap

mleap-databricks-runtime_2.12

v0.20.0-db1

ml.dmlc

xgboost4j-gpu_2.12

1.6.2

ml.dmlc

xgboost4j-spark-gpu_2.12

1.6.2

org.graphframes

graphframes_2.12

0.8.2-db1-spark3.2

org.mlflow

mlflow-client

1.29.0

org.scala-lang.modules

scala-java8-compat_2.12

0.8.0

org.tensorflow

spark-tensorflow-connector_2.12

1.15.0