磚運行時5.2毫升

磚在2019年1月發布了這張照片。

磚運行時5.2毫升為機器學習和數據提供了一個準備好了環境科學的基礎上磚運行時的5.2(不支持)。磚毫升運行時包含許多流行的機器學習庫,包括TensorFlow PyTorch Keras, XGBoost。它還支持使用Horovod分布式TensorFlow培訓。

更多信息,包括指令創建磚集群運行時毫升、明白了介紹磚運行時機器學習。

新功能

磚磚的運行時5.2毫升之上5.2運行時。有什麼新信息的磚5.2運行時,看到的磚運行時的5.2(不支持)發行說明。除了庫更新磚運行時的5.2毫升引入了以下新的特點:

GraphFrames現在支持Pregel API(Python)與磚的性能優化。
HorovodRunner補充道:
- 在GPU集群、培訓流程映射到GPU而不是工人節點簡化multi-GPU實例類型的支持。這個內置支持允許您分發給所有的gpu multi-GPU機器上沒有自定義代碼。
- HorovodRunner.run ()現在返回返回值從第一個培訓過程。

請注意

磚運行時的ML版本撿起所有維護更新基礎數據磚運行時版本。所有維護更新的列表,請參閱磚運行時的維護更新。

係統環境

磚的係統環境運行時5.2毫升不同於磚運行時的5.2如下:

Python:2.7.15 Python 2集群和3.6.5 Python 3集群。
DBUtils:磚運行時不含5.2毫升(遺留)庫工具(dbutils.library)。
GPU集群,下麵的NVIDIA GPU庫:
- 396.44特斯拉的司機
- CUDA 9.2
- CUDNN 7.2.1

庫

下麵的章節列表庫包含在磚運行時的5.2毫升,不同於那些包含在磚5.2運行時。

Python庫

磚的運行時5.2毫升使用Conda Python包管理。結果,有重大分歧預裝Python庫磚相比,運行時。下麵是一個完整的列表提供Python包和版本使用Conda包管理器安裝。

圖書館	版本	圖書館	版本	圖書館	版本
absl-py	0.6.1	argparse	1.4.0	asn1crypto	0.24.0
阿斯特	是0.7.1	backports-abc	0.5	backports.functools-lru-cache	1.5
backports.weakref	1.0.post1	bcrypt	3.1.5	漂白劑	2.1.3
寶途	2.48.0	boto3	1.7.62	botocore	1.10.62
certifi	2018.04.16	cffi	1.11.5	chardet	3.0.4
cloudpickle	0.5.3	彩色光	0.3.9	configparser	3.5.0
密碼學	2.2.2	周期計	0.10.0	Cython	0.28.2
裝飾	4.3.0	docutils	0.14	entrypoints	0.2.3
enum34	1.1.6	et-xmlfile	1.0.1	funcsigs	1.0.2中
functools32	3.2.3-2	fusepy	2.0.4	期貨	3.2.0
使驚訝	0.2.0	grpcio	1.12.1	h5py	2.8.0
horovod	0.15.2	html5lib	1.0.1	idna	2.6
ipaddress	1.0.22	ipython	5.7.0	ipython_genutils	0.2.0
jdcal	1.4	Jinja2	2.10	jmespath	0.9.3
jsonschema	2.6.0	jupyter-client	5.2.3	jupyter-core	4.4.0
Keras	2.2.4	Keras-Applications	1.0.6	Keras-Preprocessing	1.0.5
kiwisolver	1.0.1	linecache2	1.0.0	llvmlite	0.23.1
lxml	4.2.1	減價	3.0.1	MarkupSafe	1.0
matplotlib	2.2.2	使走調	0.8.3	mleap	0.8.1
模擬	2.0.0	msgpack	0.5.6	nbconvert	5.3.1
nbformat	4.4.0	鼻子	1.3.7	nose-exclude	0.5.0
numba	0.38.0 + 0. g2a2b772fc.dirty	numpy	1.14.3	olefile	0.45.1
openpyxl	2.5.3	熊貓	0.23.0	pandocfilters	1.4.2
paramiko	2.4.1	pathlib2	2.3.2	容易受騙的人	0.5.0
pbr	5.1.1	pexpect	4.5.0	pickleshare	0.7.4
枕頭	5.1.0	皮普	10.0.1	厚度	3.11
prompt-toolkit	1.0.15	protobuf	3.6.1	psycopg2	2.7.5
ptyprocess	0.5.2	pyarrow	0.8.0	pyasn1	0.4.4
pycparser	2.18	Pygments	2.2.0	PyNaCl	1.3.0
pyOpenSSL	18.0.0	pyparsing	2.2.0	PySocks	1.6.8
Python	2.7.15	python-dateutil	2.7.3	pytz	2018.4
PyYAML	3.12	pyzmq	17.0.0	請求	2.18.4
s3transfer	0.1.13	scandir	1.7	scikit-learn	0.19.1
scipy	1.1.0	seaborn	0.8.1	setuptools	39.1.0
simplegeneric	0.8.1	singledispatch	3.4.0.3	六個	1.11.0
statsmodels	0.9.0	subprocess32	3.5.3	tensorboard	1.12.2
tensorboardX	1.4	tensorflow	1.12.0	termcolor	1.1.0
testpath	0.3.1	火炬	0.4.1	torchvision	0.2.1
龍卷風	正式	traceback2	1.4.0	traitlets	4.3.2
unittest2	1.1.0	urllib3	1.22	virtualenv	16.0.0
wcwidth	0.1.7	webencodings	0.5.1	Werkzeug	0.14.1
輪	0.31.1	打包	1.10.11	wsgiref	0.1.2

此外,下麵的火花包包括Python模塊:

火花包	Python模塊	版本
graphframes	graphframes	0.7.0-db1-spark2.4
spark-deep-learning	sparkdl	1.5.0-db1-spark2.4
tensorframes	tensorframes	0.6.0-s_2.11

R庫

R庫的完全相同R圖書館磚5.2運行時。

Java和Scala庫(Scala 2.11集群)

除了Java和Scala庫磚5.2運行時,磚運行時5.2毫升包含以下jar:

組ID	工件ID	版本
com.databricks	spark-deep-learning	1.5.0-db1-spark2.4
com.typesafe.akka	akka-actor_2.11	2.3.11
ml.combust.mleap	mleap-databricks-runtime_2.11	0.13.0
ml.dmlc	xgboost4j	0.81
ml.dmlc	xgboost4j-spark	0.81
org.graphframes	graphframes_2.11	0.7.0-db1-spark2.4
org.tensorflow	libtensorflow	1.12.0
org.tensorflow	libtensorflow_jni	1.12.0
org.tensorflow	spark-tensorflow-connector_2.11	1.12.0
org.tensorflow	tensorflow	1.12.0
org.tensorframes	tensorframes	0.6.0-s_2.11