Databricks Runtime 5.0 ML(測試版)

Databricks於2018年11月發布了這張照片。

Databricks Runtime 5.0 ML為機器學習和數據科學提供了一個現成的環境。它包含許多流行的庫，包括TensorFlow、Keras和XGBoost。它還支持使用Horovod進行分布式TensorFlow訓練。

有關詳細信息，包括創建Databricks運行時ML集群的說明，請參見介紹Databricks運行時機器學習．

新功能

Databricks Runtime 5.0 ML是建立在Databricks Runtime 5.0之上的。有關Databricks Runtime 5.0中新增功能的信息，請參閱Databricks Runtime 5.0(不支持)發行說明。除了Databricks Runtime 5.0中的新功能外，Databricks Runtime 5.0 ML還包括以下新功能:

請注意

Databricks運行時ML版本將對基礎Databricks運行時版本進行所有維護更新。有關所有維護更新的列表，請參見Databricks運行時維護更新．

係統環境

Databricks Runtime 5.0與Databricks Runtime 5.0 ML的係統環境差異如下:

  • Python: Python 2集群2.7.15,Python 3集群3.6.5。

  • 對於GPU集群，以下NVIDIA GPU庫:

    • 特斯拉司機396.44

    • CUDA 9.2

    • CUDNN 7.2.1

庫

本節列出了Databricks Runtime 5.0中包含的庫與Databricks Runtime 5.0 ML中包含的庫之間的差異。

Python庫

Databricks Runtime 5.0 ML使用Conda進行Python包管理。以下是使用Conda包管理器安裝的Python包和版本的完整列表。

圖書館

版本

圖書館

版本

圖書館

版本

absl-py

0.6.1

argparse

1.4.0

asn1crypto

0.24.0

阿斯特

是0.7.1

backports-abc

0.5

backports.functools-lru-cache

1.5

backports.weakref

1.0.post1

bcrypt

3.1.4

漂白劑

2.1.3

寶途

2.48.0

boto3

1.7.62

botocore

1.10.62

certifi

2018.04.16

cffi

1.11.5

chardet

3.0.4

cloudpickle

0.5.3

彩色光

0.3.9

configparser

3.5.0

密碼學

2.2.2

周期計

0.10.0

Cython

0.28.2

裝飾

4.3.0

docutils

0.14

entrypoints

0.2.3

enum34

1.1.6

et-xmlfile

1.0.1

funcsigs

1.0.2中

functools32

3.2.3-2

fusepy

2.0.4

期貨

3.2.0

使驚訝

0.2.0

grpcio

1.12.1

h5py

2.8.0

horovod

0.15.0

html5lib

1.0.1

idna

2.6

ipaddress

1.0.22

ipython

5.7.0

ipython_genutils

0.2.0

jdcal

1.4

Jinja2

2.10

jmespath

0.9.3

jsonschema

2.6.0

jupyter-client

5.2.3

jupyter-core

4.4.0

Keras

2.2.4

Keras-Applications

1.0.6

Keras-Preprocessing

1.0.5

kiwisolver

1.0.1

linecache2

1.0.0

llvmlite

0.23.1

lxml

4.2.1

減價

3.0.1

MarkupSafe

1.0

matplotlib

2.2.2

使走調

0.8.3

mleap

0.8.1

模擬

2.0.0

msgpack

0.5.6

nbconvert

5.3.1

nbformat

4.4.0

鼻子

1.3.7

nose-exclude

0.5.0

numba

0.38.0 + 0. g2a2b772fc.dirty

numpy

1.14.3

olefile

0.45.1

openpyxl

2.5.3

熊貓

0.23.0

pandocfilters

1.4.2

paramiko

2.4.1

pathlib2

2.3.2

容易受騙的人

0.5.0

pbr

5.1.0

pexpect

4.5.0

pickleshare

0.7.4

枕頭

5.1.0

皮普

10.0.1

厚度

3.11

prompt-toolkit

1.0.15

protobuf

3.6.1

psycopg2

2.7.5

ptyprocess

0.5.2

pyarrow

0.8.0

pyasn1

0.4.4

pycparser

2.18

Pygments

2.2.0

PyNaCl

1.3.0

pyOpenSSL

18.0.0

pyparsing

2.2.0

PySocks

1.6.8

Python

2.7.15

python-dateutil

2.7.3

pytz

2018.4

PyYAML

3.12

pyzmq

17.0.0

請求

2.18.4

s3transfer

0.1.13

scandir

1.7

scikit-learn

0.19.1

scipy

1.1.0

seaborn

0.8.1

setuptools

39.1.0

simplegeneric

0.8.1

singledispatch

3.4.0.3

六個

1.11.0

statsmodels

0.9.0

subprocess32

3.5.3

tensorboard

1.10.0

tensorflow

1.10.0

termcolor

1.1.0

testpath

0.3.1

龍卷風

正式

traceback2

1.4.0

traitlets

4.3.2

unittest2

1.1.0

urllib3

1.22

virtualenv

16.0.0

wcwidth

0.1.7

webencodings

0.5.1

Werkzeug

0.14.1

輪

0.31.1

打包

1.10.11

wsgiref

0.1.2

此外，以下Spark包還包含Python模塊:

火花包

Python模塊

版本

tensorframes

tensorframes

0.5.0-s_2.11

graphframes

graphframes

0.6.0-db3-spark2.4

spark-deep-learning

sparkdl

1.3.0-db2-spark2.4

R庫

R庫是相同的Databricks Runtime 5.0上的R庫．

Java和Scala庫(Scala 2.11集群)

除了Databricks Runtime 5.0中的Java和Scala庫之外，Databricks Runtime 5.0 ML還包含以下jar:

組ID

工件ID

版本

com.databricks

spark-deep-learning

1.3.0-db2-spark2.4

org.tensorframes

tensorframes

0.5.0-s_2.11

org.graphframes

graphframes_2.11

0.6.0-db3-spark2.4

org.tensorflow

libtensorflow

1.10.0

org.tensorflow

libtensorflow_jni

1.10.0

org.tensorflow

spark-tensorflow-connector_2.11

1.10.0-spark2.4-001

org.tensorflow

tensorflow

1.10.0

ml.dmlc

xgboost4j

0.80

ml.dmlc

xgboost4j-spark

0.80

ml.combust.mleap

mleap-databricks-runtime_2.11

0.13.0-SNAPSHOT