磚運行時5.3毫升(不支持)

磚在2019年4月公布的這張照片。

磚運行時5.3毫升為機器學習和數據提供了一個準備好了環境科學的基礎上磚運行時的5.3(不支持)。磚毫升運行時包含許多流行的機器學習庫,包括TensorFlow PyTorch Keras, XGBoost。它還支持使用Horovod分布深度學習培訓。

更多信息,包括指令創建磚集群運行時毫升、明白了介紹磚運行時機器學習。

新功能

磚磚的運行時5.3毫升之上5.3運行時。有什麼新信息的磚5.3運行時,看到的磚運行時的5.3(不支持)發行說明。除了庫更新磚運行時的5.3毫升引入了以下新的特點:

  • MLflow+Apache火花MLlib集成:磚的運行時5.3毫升支持自動記錄MLflow運行為適合使用PySpark優化算法模型CrossValidator和TrainValidationSplit。

    預覽

    這個特性是在私人預覽。聯係你的磚銷售代表了解啟用它。

  • 升級以下庫的最新版本:

    • 從0.8.0 PyArrow 0.12.1:BinaryType支持Arrow-based轉換和可用於PandasUDF。

    • Horovod 0.15.2 0.16.0。

    • TensorboardX從1.4到1.6。

磚毫升模型導出API已棄用。磚建議使用MLeap相反,它提供了更廣泛的報道MLlib模型類型。了解更多在MLeap毫升模型出口。

維護更新

看到磚運行時5.4毫升的維護更新。

係統環境

磚的係統環境運行時5.3毫升不同於磚運行時的5.3如下:

  • Python:2.7.15 Python 2集群和3.6.5 Python 3集群。

  • DBUtils:磚運行時不含5.3毫升(遺留)庫工具(dbutils.library)。

  • GPU集群,下麵的NVIDIA GPU庫:

    • 396.44特斯拉的司機

    • CUDA 9.2

    • CUDNN 7.2.1

庫

下麵的章節列表庫包含在磚運行時的5.3毫升,不同於那些包含在磚5.3運行時。

Python庫

磚的運行時5.3毫升使用Conda Python包管理。結果,有重大分歧預裝Python庫磚相比,運行時。下麵是一個完整的列表提供Python包和版本使用Conda包管理器安裝。

圖書館

版本

圖書館

版本

圖書館

版本

absl-py

0.7.0

argparse

1.4.0

asn1crypto

0.24.0

阿斯特

是0.7.1

backports-abc

0.5

backports.functools-lru-cache

1.5

backports.weakref

1.0.post1

bcrypt

3.1.6

漂白劑

2.1.3

寶途

2.48.0

boto3

1.7.62

botocore

1.10.62

certifi

2018.04.16

cffi

1.11.5

chardet

3.0.4

cloudpickle

0.5.3

彩色光

0.3.9

configparser

3.5.0

密碼學

2.2.2

周期計

0.10.0

Cython

0.28.2

裝飾

4.3.0

docutils

0.14

entrypoints

0.2.3

enum34

1.1.6

et-xmlfile

1.0.1

funcsigs

1.0.2中

functools32

3.2.3-2

fusepy

2.0.4

期貨

3.2.0

使驚訝

0.2.2

grpcio

1.12.1

h5py

2.8.0

horovod

0.16.0

html5lib

1.0.1

idna

2.6

ipaddress

1.0.22

ipython

5.7.0

ipython_genutils

0.2.0

jdcal

1.4

Jinja2

2.10

jmespath

0.9.3

jsonschema

2.6.0

jupyter-client

5.2.3

jupyter-core

4.4.0

Keras

2.2.4

Keras-Applications

1.0.6

Keras-Preprocessing

1.0.5

kiwisolver

1.0.1

linecache2

1.0.0

llvmlite

0.23.1

lxml

4.2.1

減價

3.0.1

MarkupSafe

1.0

matplotlib

2.2.2

使走調

0.8.3

mleap

0.8.1

模擬

2.0.0

msgpack

0.5.6

nbconvert

5.3.1

nbformat

4.4.0

鼻子

1.3.7

nose-exclude

0.5.0

numba

0.38.0 + 0. g2a2b772fc.dirty

numpy

1.14.3

olefile

0.45.1

openpyxl

2.5.3

熊貓

0.23.0

pandocfilters

1.4.2

paramiko

2.4.1

pathlib2

2.3.2

容易受騙的人

0.5.0

pbr

5.1.1

pexpect

4.5.0

pickleshare

0.7.4

枕頭

5.1.0

皮普

10.0.1

厚度

3.11

prompt-toolkit

1.0.15

protobuf

3.6.1

psutil

5.6.0

psycopg2

2.7.5

ptyprocess

0.5.2

pyarrow

0.12.1

pyasn1

0.4.5

pycparser

2.18

Pygments

2.2.0

PyNaCl

1.3.0

pyOpenSSL

18.0.0

pyparsing

2.2.0

PySocks

1.6.8

Python

2.7.15

python-dateutil

2.7.3

pytz

2018.4

PyYAML

3.12

pyzmq

17.0.0

請求

2.18.4

s3transfer

0.1.13

scandir

1.7

scikit-learn

0.19.1

scipy

1.1.0

seaborn

0.8.1

setuptools

39.1.0

simplegeneric

0.8.1

singledispatch

3.4.0.3

六個

1.11.0

statsmodels

0.9.0

subprocess32

3.5.3

tensorboard

1.12.2

tensorboardX

1.6

tensorflow

1.12.0

termcolor

1.1.0

testpath

0.3.1

火炬

0.4.1

torchvision

0.2.1

龍卷風

正式

traceback2

1.4.0

traitlets

4.3.2

unittest2

1.1.0

urllib3

1.22

virtualenv

16.0.0

wcwidth

0.1.7

webencodings

0.5.1

Werkzeug

0.14.1

輪

0.31.1

打包

1.10.11

wsgiref

0.1.2

此外,下麵的火花包包括Python模塊:

火花包

Python模塊

版本

graphframes

graphframes

0.7.0-db1-spark2.4

spark-deep-learning

sparkdl

1.5.0-db1-spark2.4

tensorframes

tensorframes

0.6.0-s_2.11

R庫

R庫的完全相同R圖書館磚5.3運行時。

Java和Scala庫(Scala 2.11集群)

除了Java和Scala庫磚5.3運行時,磚運行時5.3毫升包含以下jar:

組ID

工件ID

版本

com.databricks

spark-deep-learning

1.5.0-db1-spark2.4

com.typesafe.akka

akka-actor_2.11

2.3.11

ml.combust.mleap

mleap-databricks-runtime_2.11

0.13.0

ml.dmlc

xgboost4j

0.81

ml.dmlc

xgboost4j-spark

0.81

org.graphframes

graphframes_2.11

0.7.0-db1-spark2.4

org.tensorflow

libtensorflow

1.12.0

org.tensorflow

libtensorflow_jni

1.12.0

org.tensorflow

spark-tensorflow-connector_2.11

1.12.0

org.tensorflow

tensorflow

1.12.0

org.tensorframes

tensorframes

0.6.0-s_2.11