磚10.5運行時機器學習

磚10.5運行時機器學習為機器學習和數據提供了一個準備好了環境科學的基礎上磚10.5運行時。磚運行時毫升含有許多流行的機器學習庫,包括TensorFlow PyTorch, XGBoost。磚運行時毫升包括AutoML,一個工具來自動訓練機器學習管道。磚運行時毫升也支持使用Horovod分布深度學習培訓。

更多信息,包括指令創建磚集群運行時毫升、明白了磚運行時機器學習。

新特性和改進

磚磚的運行時10.5毫升之上10.5運行時。有什麼新信息的磚10.5運行時,包括Apache火花MLlib和SparkR,看到磚10.5運行時發行說明。

增強磚AutoML

以下已經增強磚AutoML。

  • 改進的內存使用允許AutoML火車上更大的數據集。

  • AutoML預測,您現在可以出口的最佳模型的預測表使用API。如果output_database提供,AutoML保存最好的模型來預測一個新表中指定的數據庫。預測還未得救output_database沒有指定。

增強磚特色商店

以下已經增強磚特性的商店。

  • 特性存儲客戶端現在支持出版DynamoDB在線商店沒有顯式傳遞的秘密。相反,你可以使用附加的集群實例配置文件的運行數據磚。說明,請參閱發布在線功能存儲特性。API的細節,請參閱Python API。

係統環境

磚的係統環境運行時10.5毫升不同於磚運行時的10.5如下:

庫

下麵的章節列表庫包含在磚運行時的10.5毫升,不同於那些包含在磚10.5運行時。

Python庫

磚運行時10.5毫升使用Virtualenv Python包管理,包括許多流行毫升包。

除了包中指定在下麵幾節中,磚運行時10.5毫升的還包括以下方案:

  • hyperopt 0.2.7.db1

  • sparkdl 2.2.0-db6

  • feature_store 0.4.1

  • automl 1.8.0

Python庫對CPU集群

圖書館

版本

圖書館

版本

圖書館

版本

absl-py

0.11.0

Antergos Linux

2015.10 (ISO-Rolling)

appdirs

1.4.4

argon2-cffi

20.1.0

阿斯特

0.8.1

astunparse

1.6.3

async-generator

1.10

attrs

20.3.0

backcall

0.2.0

bcrypt

3.2.0

bidict

0.21.4

漂白劑

3.3.0

bli

0.7.7

boto3

1.16.7

botocore

1.19.7

cachetools

4.2.4

目錄

2.0.7

certifi

2020.12.5

cffi

1.14.5

chardet

4.0.0

點擊

7.1.2

cloudpickle

1.6.0

cmdstanpy

0.9.68

configparser

5.0.1

convertdate

測試盒框

密碼學

3.4.7

周期計

0.10.0

cymem

2.0.6

Cython

0.29.23

databricks-automl-runtime

0.2.7

databricks-cli

0.16.4

dbl-tempo

0.1.2

dbus-python

1.2.16

裝飾

5.0.6

defusedxml

是0.7.1

蒔蘿

0.3.2

diskcache

5.4.0

distlib

0.3.4

distro-info

0.23 ubuntu1

entrypoints

0.3

ephem

4.1.3

facets-overview

1.0.0

fasttext

0.9.2

filelock

3.0.12

瓶

1.1.2

flatbuffers

2.0

fsspec

0.9.0

未來

0.18.2

使驚訝

0.4.0

gitdb

4.0.9

GitPython

3.1.12

google-auth

1.22.1

google-auth-oauthlib

0.4.2

google-pasta

0.2.0

grpcio

1.39.0

gunicorn

20.0.4

gviz-api

1.10.0

h5py

3.1.0

hijri-converter

2.2.3

假期

0.13

horovod

0.23.0

htmlmin

0.1.12

huggingface-hub

0.5.1

idna

2.10

ImageHash

4.2.1

imbalanced-learn

0.8.1

importlib-metadata

3.10.0

ipykernel

5.3.4

ipython

7.22.0

ipython-genutils

0.2.0

ipywidgets

7.6.3

isodate

0.6.0

itsdangerous

1.1.0

絕地武士

0.17.2

Jinja2

14

jmespath

0.10.0

joblib

1.0.1

joblibspark

0.3.0

jsonschema

3.2.0

jupyter-client

6.1.12

jupyter-core

4.7.1

jupyterlab-pygments

0.1.2

jupyterlab-widgets

1.0.0

keras

2.8.0

Keras-Preprocessing

1.1.2

kiwisolver

1.3.1

考拉

1.8.2

korean-lunar-calendar

0.2.1

langcodes

3.3.0

libclang

13.0.0

lightgbm

3.3.2

llvmlite

0.38.0

LunarCalendar

0.0.9

尖吻鯖鯊

1.1.3

減價

3.3.3

MarkupSafe

2.0.1

matplotlib

3.4.2

missingno

0.5.1

使走調

0.8.4

mleap

0.18.1

mlflow-skinny

1.24.0

多重方法

1.8

murmurhash

1.0.6

nbclient

0.5.3

nbconvert

6.0.7

nbformat

5.1.3

nest-asyncio

1.5.1

networkx

2.5

nltk

3.6.1

筆記本

6.3.0

numba

0.55.1

numpy

1.20.1

oauthlib

3.1.0

opt-einsum

3.3.0

包裝

21.3

熊貓

1.2.4

pandas-profiling

3.1.0

pandocfilters

3

paramiko

2.7.2

parso

0.7.0

表“感覺”

0.6.1

容易受騙的人

0.5.1

petastorm

0.11.4

pexpect

4.8.0

phik

0.12.2

pickleshare

0.7.5

枕頭

8.2.0

皮普

21.0.1

情節

5.6.0

pmdarima

1.8.5

棒

3.0.6

prometheus-client

0.10.1

prompt-toolkit

3.0.17

先知

1.0.1

protobuf

3.17.2

psutil

5.8.0

psycopg2

2.8.5

ptyprocess

0.7.0

pyarrow

4.0.0

pyasn1

0.4.8

pyasn1-modules

0.2.8

pybind11

2.9.2

pycparser

2.20

pydantic

1.8.2

Pygments

2.8.1發布

PyGObject

3.36.0

PyMeeus

0.5.11

PyNaCl

1.5.0

pyodbc

4.0.30

pyparsing

2.4.7

pyrsistent

0.17.3

pystan

2.19.1.1

python-apt

2.0.0 + ubuntu0.20.4.7

python-dateutil

2.8.1發布

python編輯器

1.0.4

python-engineio

4.3.0

python-socketio

5.4.1之前

pytz

2020.5

PyWavelets

1.1.1

PyYAML

5.4.1之前

pyzmq

20.0.0

正則表達式

2021.4.4

請求

2.25.1

requests-oauthlib

1.3.0

requests-unixsocket

0.2.0

rsa

4.8

s3transfer

0.3.7

sacremoses

0.0.49

scikit-learn

0.24.1

scipy

1.6.2

seaborn

0.11.1

Send2Trash

1.5.0

setuptools

52.0.0

setuptools-git

1.2

世鵬科技電子

0.40.0

simplejson

3.17.2

六個

1.15.0

切片機

0.0.7

smart-open

5.2.1

smmap

3.0.5

寬大的

3.2.3

spacy-legacy

3.0.9

spacy-loggers

1.0.2中

spark-tensorflow-distributor

1.0.0

sqlparse

0.4.1

srs

2.4.3

ssh-import-id

5.10

statsmodels

0.12.2

彙總

0.8.7

tangled-up-in-unicode

0.1.0

韌性

6.2.0

tensorboard

2.8.0

tensorboard-data-server

0.6.1

tensorboard-plugin-profile

2.5.0

tensorboard-plugin-wit

1.8.1

tensorflow-cpu

2.8.0

tensorflow-estimator

2.8.0

tensorflow-io-gcs-filesystem

0.24.0

termcolor

1.1.0

terminado

0.9.4

testpath

0.4.4

tf-estimator-nightly

2.8.0.dev2021122109

thinc

8.0.15

threadpoolctl

魅惑

分詞器

0.12.1

火炬

1.10.2 + cpu

torchvision

0.11.3 + cpu

龍卷風

6.1

tqdm

4.59.0

traitlets

5.0.5

變形金剛

4.17.0

打字機

0.4.1

typing-extensions

3.7.4.3

ujson

4.0.2

unattended-upgrades

0.1

urllib3

1.25.11

virtualenv

20.4.1

願景

0.7.4

芥末醬

0.9.1

wcwidth

0.2.5

webencodings

0.5.1

websocket-client

0.57.0

Werkzeug

1.0.1

輪

0.36.2

widgetsnbextension

3.5.1

打包

1.12.1

xgboost

1.5.2

氧化鋅碘仿糊

3.4.1

Python庫在GPU集群

圖書館

版本

圖書館

版本

圖書館

版本

absl-py

0.11.0

Antergos Linux

2015.10 (ISO-Rolling)

appdirs

1.4.4

argon2-cffi

20.1.0

阿斯特

0.8.1

astunparse

1.6.3

async-generator

1.10

attrs

20.3.0

backcall

0.2.0

bcrypt

3.2.0

bidict

0.21.4

漂白劑

3.3.0

bli

0.7.7

boto3

1.16.7

botocore

1.19.7

cachetools

4.2.4

目錄

2.0.7

certifi

2020.12.5

cffi

1.14.5

chardet

4.0.0

點擊

7.1.2

cloudpickle

1.6.0

cmdstanpy

0.9.68

configparser

5.0.1

convertdate

測試盒框

密碼學

3.4.7

周期計

0.10.0

cymem

2.0.6

Cython

0.29.23

databricks-automl-runtime

0.2.7

databricks-cli

0.16.4

dbl-tempo

0.1.2

dbus-python

1.2.16

裝飾

5.0.6

defusedxml

是0.7.1

蒔蘿

0.3.2

diskcache

5.4.0

distlib

0.3.4

distro-info

0.23 ubuntu1

entrypoints

0.3

ephem

4.1.3

facets-overview

1.0.0

fasttext

0.9.2

filelock

3.0.12

瓶

1.1.2

flatbuffers

2.0

fsspec

0.9.0

未來

0.18.2

使驚訝

0.4.0

gitdb

4.0.9

GitPython

3.1.12

google-auth

1.22.1

google-auth-oauthlib

0.4.2

google-pasta

0.2.0

grpcio

1.39.0

gunicorn

20.0.4

gviz-api

1.10.0

h5py

3.1.0

hijri-converter

2.2.3

假期

0.13

horovod

0.23.0

htmlmin

0.1.12

huggingface-hub

0.5.1

idna

2.10

ImageHash

4.2.1

imbalanced-learn

0.8.1

importlib-metadata

3.10.0

ipykernel

5.3.4

ipython

7.22.0

ipython-genutils

0.2.0

ipywidgets

7.6.3

isodate

0.6.0

itsdangerous

1.1.0

絕地武士

0.17.2

Jinja2

14

jmespath

0.10.0

joblib

1.0.1

joblibspark

0.3.0

jsonschema

3.2.0

jupyter-client

6.1.12

jupyter-core

4.7.1

jupyterlab-pygments

0.1.2

jupyterlab-widgets

1.0.0

keras

2.8.0

Keras-Preprocessing

1.1.2

kiwisolver

1.3.1

考拉

1.8.2

korean-lunar-calendar

0.2.1

langcodes

3.3.0

libclang

13.0.0

lightgbm

3.3.2

llvmlite

0.38.0

LunarCalendar

0.0.9

尖吻鯖鯊

1.1.3

減價

3.3.3

MarkupSafe

2.0.1

matplotlib

3.4.2

missingno

0.5.1

使走調

0.8.4

mleap

0.18.1

mlflow-skinny

1.24.0

多重方法

1.8

murmurhash

1.0.6

nbclient

0.5.3

nbconvert

6.0.7

nbformat

5.1.3

nest-asyncio

1.5.1

networkx

2.5

nltk

3.6.1

筆記本

6.3.0

numba

0.55.1

numpy

1.20.1

oauthlib

3.1.0

opt-einsum

3.3.0

包裝

21.3

熊貓

1.2.4

pandas-profiling

3.1.0

pandocfilters

3

paramiko

2.7.2

parso

0.7.0

表“感覺”

0.6.1

容易受騙的人

0.5.1

petastorm

0.11.4

pexpect

4.8.0

phik

0.12.2

pickleshare

0.7.5

枕頭

8.2.0

皮普

21.0.1

情節

5.6.0

pmdarima

1.8.5

棒

3.0.6

prompt-toolkit

3.0.17

先知

1.0.1

protobuf

3.17.2

psutil

5.8.0

psycopg2

2.8.5

ptyprocess

0.7.0

pyarrow

4.0.0

pyasn1

0.4.8

pyasn1-modules

0.2.8

pybind11

2.9.2

pycparser

2.20

pydantic

1.8.2

Pygments

2.8.1發布

PyGObject

3.36.0

PyMeeus

0.5.11

PyNaCl

1.5.0

pyodbc

4.0.30

pyparsing

2.4.7

pyrsistent

0.17.3

pystan

2.19.1.1

python-apt

2.0.0 + ubuntu0.20.4.7

python-dateutil

2.8.1發布

python編輯器

1.0.4

python-engineio

4.3.0

python-socketio

5.4.1之前

pytz

2020.5

PyWavelets

1.1.1

PyYAML

5.4.1之前

pyzmq

20.0.0

正則表達式

2021.4.4

請求

2.25.1

requests-oauthlib

1.3.0

requests-unixsocket

0.2.0

rsa

4.8

s3transfer

0.3.7

sacremoses

0.0.49

scikit-learn

0.24.1

scipy

1.6.2

seaborn

0.11.1

Send2Trash

1.5.0

setuptools

52.0.0

setuptools-git

1.2

世鵬科技電子

0.40.0

simplejson

3.17.2

六個

1.15.0

切片機

0.0.7

smart-open

5.2.1

smmap

3.0.5

寬大的

3.2.3

spacy-legacy

3.0.9

spacy-loggers

1.0.2中

spark-tensorflow-distributor

1.0.0

sqlparse

0.4.1

srs

2.4.3

ssh-import-id

5.10

statsmodels

0.12.2

彙總

0.8.7

tangled-up-in-unicode

0.1.0

韌性

6.2.0

tensorboard

2.8.0

tensorboard-data-server

0.6.1

tensorboard-plugin-profile

2.5.0

tensorboard-plugin-wit

1.8.1

tensorflow

2.8.0

tensorflow-estimator

2.8.0

tensorflow-io-gcs-filesystem

0.24.0

termcolor

1.1.0

terminado

0.9.4

testpath

0.4.4

tf-estimator-nightly

2.8.0.dev2021122109

thinc

8.0.15

threadpoolctl

魅惑

分詞器

0.12.1

火炬

1.10.2 + cu113

torchvision

0.11.3 + cu113

龍卷風

6.1

tqdm

4.59.0

traitlets

5.0.5

變形金剛

4.17.0

打字機

0.4.1

typing-extensions

3.7.4.3

ujson

4.0.2

unattended-upgrades

0.1

urllib3

1.25.11

virtualenv

20.4.1

願景

0.7.4

芥末醬

0.9.1

wcwidth

0.2.5

webencodings

0.5.1

websocket-client

0.57.0

Werkzeug

1.0.1

輪

0.36.2

widgetsnbextension

3.5.1

打包

1.12.1

xgboost

1.5.2

氧化鋅碘仿糊

3.4.1

引發包包含Python模塊

火花包

Python模塊

版本

graphframes

graphframes

0.8.2-db1-spark3.2

R庫

R庫的完全相同R庫在磚10.5運行時。

Java和Scala庫(Scala 2.12集群)

除了Java和Scala庫磚10.5運行時,磚運行時10.5毫升包含以下jar:

CPU集群

組ID

工件ID

版本

com.typesafe.akka

akka-actor_2.12

2.5.23

ml.combust.mleap

mleap-databricks-runtime_2.12

0.18.1-23eb1ef

ml.dmlc

xgboost4j-spark_2.12

1.5.2

ml.dmlc

xgboost4j_2.12

1.5.2

org.graphframes

graphframes_2.12

0.8.2-db1-spark3.2

org.mlflow

mlflow-client

1.24.0

org.mlflow

mlflow-spark

1.24.0

org.scala-lang.modules

scala-java8-compat_2.12

0.8.0

org.tensorflow

spark-tensorflow-connector_2.12

1.15.0

GPU集群

組ID

工件ID

版本

com.typesafe.akka

akka-actor_2.12

2.5.23

ml.combust.mleap

mleap-databricks-runtime_2.12

0.18.1-23eb1ef

ml.dmlc

xgboost4j-spark_2.12

1.5.2

ml.dmlc

xgboost4j_2.12

1.5.2

org.graphframes

graphframes_2.12

0.8.2-db1-spark3.2

org.mlflow

mlflow-client

1.24.0

org.mlflow

mlflow-spark

1.24.0

org.scala-lang.modules

scala-java8-compat_2.12

0.8.0

org.tensorflow

spark-tensorflow-connector_2.12

1.15.0