磚運行時5.2毫升(β)

磚在2019年1月發布了這張照片。

磚運行時5.2毫升為機器學習和數據提供了一個準備好了環境科學的基礎上磚運行時的5.2(不支持)。磚毫升運行時包含許多流行的機器學習庫,包括TensorFlow PyTorch Keras, XGBoost。它還支持使用Horovod分布式TensorFlow培訓。

更多信息,包括指令創建磚集群運行時毫升、明白了介紹磚運行時機器學習。

新功能

磚磚的運行時5.2毫升之上5.2運行時。有什麼新信息的磚5.2運行時,看到的磚運行時的5.2(不支持)發行說明。除了庫更新磚運行時的5.2毫升引入了以下新的特點:

  • GraphFrames現在支持Pregel API(Python)與磚的性能優化。

  • HorovodRunner補充道:

    • 在GPU集群、培訓流程映射到GPU而不是工人節點簡化multi-GPU實例類型的支持。這個內置支持允許您分發給所有的gpu multi-GPU機器上沒有自定義代碼。

    • HorovodRunner.run ()現在返回返回值從第一個培訓過程。

請注意

磚運行時的ML版本撿起所有維護更新基礎數據磚運行時版本。所有維護更新的列表,請參閱磚運行時的維護更新。

係統環境

磚的係統環境運行時5.2毫升不同於磚運行時的5.2如下:

  • Python:2.7.15 Python 2集群和3.6.5 Python 3集群。

  • DBUtils:磚運行時不含5.2毫升庫工具(dbutils.library)。

  • GPU集群,下麵的NVIDIA GPU庫:

    • 396.44特斯拉的司機

    • CUDA 9.2

    • CUDNN 7.2.1

庫

下麵的章節列表庫包含在磚運行時的5.2毫升,不同於那些包含在磚5.2運行時。

Python庫

磚的運行時5.2毫升使用Conda Python包管理。結果,有重大分歧預裝Python庫磚相比,運行時。下麵是一個完整的列表提供Python包和版本使用Conda包管理器安裝。

圖書館

版本

圖書館

版本

圖書館

版本

absl-py

0.6.1

argparse

1.4.0

asn1crypto

0.24.0

阿斯特

是0.7.1

backports-abc

0.5

backports.functools-lru-cache

1.5

backports.weakref

1.0.post1

bcrypt

3.1.5

漂白劑

2.1.3

寶途

2.48.0

boto3

1.7.62

botocore

1.10.62

certifi

2018.04.16

cffi

1.11.5

chardet

3.0.4

cloudpickle

0.5.3

彩色光

0.3.9

configparser

3.5.0

密碼學

2.2.2

周期計

0.10.0

Cython

0.28.2

裝飾

4.3.0

docutils

0.14

entrypoints

0.2.3

enum34

1.1.6

et-xmlfile

1.0.1

funcsigs

1.0.2中

functools32

3.2.3-2

fusepy

2.0.4

期貨

3.2.0

使驚訝

0.2.0

grpcio

1.12.1

h5py

2.8.0

horovod

0.15.2

html5lib

1.0.1

idna

2.6

ipaddress

1.0.22

ipython

5.7.0

ipython_genutils

0.2.0

jdcal

1.4

Jinja2

2.10

jmespath

0.9.3

jsonschema

2.6.0

jupyter-client

5.2.3

jupyter-core

4.4.0

Keras

2.2.4

Keras-Applications

1.0.6

Keras-Preprocessing

1.0.5

kiwisolver

1.0.1

linecache2

1.0.0

llvmlite

0.23.1

lxml

4.2.1

減價

3.0.1

MarkupSafe

1.0

matplotlib

2.2.2

使走調

0.8.3

mleap

0.8.1

模擬

2.0.0

msgpack

0.5.6

nbconvert

5.3.1

nbformat

4.4.0

鼻子

1.3.7

nose-exclude

0.5.0

numba

0.38.0 + 0. g2a2b772fc.dirty

numpy

1.14.3

olefile

0.45.1

openpyxl

2.5.3

熊貓

0.23.0

pandocfilters

1.4.2

paramiko

2.4.1

pathlib2

2.3.2

容易受騙的人

0.5.0

pbr

5.1.1

pexpect

4.5.0

pickleshare

0.7.4

枕頭

5.1.0

皮普

10.0.1

厚度

3.11

prompt-toolkit

1.0.15

protobuf

3.6.1

psycopg2

2.7.5

ptyprocess

0.5.2

pyarrow

0.8.0

pyasn1

0.4.4

pycparser

2.18

Pygments

2.2.0

PyNaCl

1.3.0

pyOpenSSL

18.0.0

pyparsing

2.2.0

PySocks

1.6.8

Python

2.7.15

python-dateutil

2.7.3

pytz

2018.4

PyYAML

3.12

pyzmq

17.0.0

請求

2.18.4

s3transfer

0.1.13

scandir

1.7

scikit-learn

0.19.1

scipy

1.1.0

seaborn

0.8.1

setuptools

39.1.0

simplegeneric

0.8.1

singledispatch

3.4.0.3

六個

1.11.0

statsmodels

0.9.0

subprocess32

3.5.3

tensorboard

1.12.2

tensorboardX

1.4

tensorflow

1.12.0

termcolor

1.1.0

testpath

0.3.1

火炬

0.4.1

torchvision

0.2.1

龍卷風

正式

traceback2

1.4.0

traitlets

4.3.2

unittest2

1.1.0

urllib3

1.22

virtualenv

16.0.0

wcwidth

0.1.7

webencodings

0.5.1

Werkzeug

0.14.1

輪

0.31.1

打包

1.10.11

wsgiref

0.1.2

此外,下麵的火花包包括Python模塊:

火花包

Python模塊

版本

graphframes

graphframes

0.7.0-db1-spark2.4

spark-deep-learning

sparkdl

1.5.0-db1-spark2.4

tensorframes

tensorframes

0.6.0-s_2.11

R庫

R庫的完全相同R圖書館磚5.2運行時。

Java和Scala庫(Scala 2.11集群)

除了Java和Scala庫磚5.2運行時,磚運行時5.2毫升包含以下jar:

組ID

工件ID

版本

com.databricks

spark-deep-learning

1.5.0-db1-spark2.4

com.typesafe.akka

akka-actor_2.11

2.3.11

ml.combust.mleap

mleap-databricks-runtime_2.11

0.13.0

ml.dmlc

xgboost4j

0.81

ml.dmlc

xgboost4j-spark

0.81

org.graphframes

graphframes_2.11

0.7.0-db1-spark2.4

org.tensorflow

libtensorflow

1.12.0

org.tensorflow

libtensorflow_jni

1.12.0

org.tensorflow

spark-tensorflow-connector_2.11

1.12.0

org.tensorflow

tensorflow

1.12.0

org.tensorframes

tensorframes

0.6.0-s_2.11