Databricks Runtime 11.3 LTS for Machine Learning
Databricks Runtime 11.3 LTS for Machine Learning為機器學習和數據科學提供了一個現成的環境Databricks Runtime 11.3 LTS．Databricks Runtime ML包含許多流行的機器學習庫，包括TensorFlow、PyTorch和XGBoost。Databricks Runtime ML包含AutoML，一個自動訓練機器學習管道的工具。Databricks Runtime ML還支持使用Horovod進行分布式深度學習訓練。
有關更多信息，包括創建Databricks Runtime ML集群的說明，請參見Databricks運行時機器學習．
新功能和改進
ML是建立在Databricks Runtime 11.3 LTS之上的。有關Databricks Runtime 11.3 LTS(包括Apache Spark MLlib和SparkR)中的新特性的信息，請參見Databricks Runtime 11.3 LTS發行說明。
對Databricks AutoML的增強
磚AutoML現在支持在您的AutoML實驗中使用現有的Feature Store特征表。這個功能隻有AutoML API支持。詳細信息請參見功能商店集成．
由AutoML生成的試用筆記本現在包含允許用戶重新運行超參數調優的代碼片段。
AutoML現在支持DecimalType特性。
錯誤修複
Databricks Runtime 11.3 LTS ML包含升級版sparkdl.xgboost．以前的版本sparkdl.xgboost包含在此版本中已修複的錯誤，因此Databricks建議庫的用戶升級到Databricks Runtime 11.3 LTS ML。
為未來的發布做準備
即將發布的Databricks Runtime ML將包括sklearn1.0版。參觀sklearn文檔獲取有關如何準備此更改的信息。
Databricks Runtime ML包含兩個openblas包。的/ opt / OpenBLAS軟件包在Databricks Runtime 11.3 LTS ML中已棄用，並將在即將發布的版本中刪除。
係統環境
Databricks Runtime 11.3 LTS ML與Databricks Runtime 11.3 LTS的係統環境差異如下:
DBUtils: Databricks Runtime ML不包含庫實用程序(dbutls . Library)．使用
%皮普而不是命令。看到筆記本範圍的Python庫．對於GPU集群，Databricks Runtime ML包含以下NVIDIA GPU庫:
CUDA 11.3
cuDNN 8.0.5.39
NCCL 2.9.9
TensorRT 7.2.2
Databricks Runtime 11.3 LTS ML包含XGBoost 1.6.1，它不支持具有5.2及以下計算能力的GPU集群。
庫
以下部分列出了Databricks Runtime 11.3 LTS ML中包含的不同於Databricks Runtime 11.3 LTS的庫。
Python庫
Databricks Runtime 11.3 LTS ML使用Virtualenv進行Python包管理，包括許多流行的ML包。
除了以下章節中指定的包外，Databricks Runtime 11.3 LTS ML還包括以下包:
hyperopt 0.2.7.db1
sparkdl 2.3.0-db3
feature_store 0.7.0
automl 1.13.2
若要在本地Python虛擬環境中重新生成Databricks Runtime ML Python環境，請下載requirements-11.3.txt文件並運行皮普安裝- rrequirements-11.3.txt．該命令安裝Databricks Runtime ML使用的所有開源庫，但不安裝Databricks開發的庫，例如databricks-automl，databricks-feature-store，或Databricks的分支hyperopt．
CPU集群上的Python庫
圖書館 |
版本 |
圖書館 |
版本 |
圖書館 |
版本 |
|---|---|---|---|---|---|
absl-py |
1.0.0 |
argon2-cffi |
20.1.0 |
阿斯特 |
0.8.1 |
astunparse |
1.6.3 |
async-generator |
1.10 |
attrs |
21.2.0 |
azure-core |
1.22.1 |
azure-cosmos |
4.2.0 |
backcall |
0.2.0 |
backports.entry-points-selectable |
1.1.1 |
bcrypt |
4.0.0 |
黑色的 |
22.3.0 |
漂白劑 |
4.0.0 |
bli |
0.7.8 |
boto3 |
1.21.18 |
botocore |
1.24.18 |
cachetools |
5.2.0 |
目錄 |
2.0.8 |
certifi |
2021.10.8 |
cffi |
1.14.6 |
chardet |
4.0.0 |
charset-normalizer |
2.0.4 |
點擊 |
8.0.3 |
cloudpickle |
2.0.0 |
cmdstanpy |
0.9.68 |
糖果 |
0.0.1 |
configparser |
5.2.0 |
convertdate |
測試盒框 |
密碼學 |
3.4.8 |
周期計 |
0.10.0 |
cymem |
2.0.6 |
Cython |
0.29.24 |
databricks-automl-runtime |
0.2.11 |
databricks-cli |
0.17.3 |
dbl-tempo |
0.1.12 |
dbus-python |
1.2.16 |
debugpy |
1.4.1 |
裝飾 |
5.1.0 |
defusedxml |
是0.7.1 |
蒔蘿 |
0.3.4 |
diskcache |
5.4.0 |
distlib |
0.3.6 |
entrypoints |
0.3 |
ephem |
4.1.3 |
facets-overview |
1.0.0 |
fasttext |
0.9.2 |
filelock |
3.3.1 |
瓶 |
1.1.2 |
flatbuffers |
1.12 |
fsspec |
2021.8.1 |
未來 |
0.18.2 |
使驚訝 |
0.4.0 |
gitdb |
4.0.9 |
GitPython |
3.1.27 |
google-auth |
2.6.0 |
google-auth-oauthlib |
0.4.6 |
google-pasta |
0.2.0 |
grpcio |
1.44.0 |
gunicorn |
20.1.0 |
gviz-api |
1.10.0 |
h5py |
3.3.0 |
hijri-converter |
2.2.4 |
假期 |
0.15 |
horovod |
0.25.0 |
htmlmin |
0.1.12 |
huggingface-hub |
0.9.1 |
idna |
3.2 |
ImageHash |
4.3.0 |
imbalanced-learn |
0.8.1 |
importlib-metadata |
4.8.1 |
ipykernel |
6.12.1 |
ipython |
7.32.0 |
ipython-genutils |
0.2.0 |
ipywidgets |
7.7.0 |
isodate |
0.6.1 |
itsdangerous |
2.0.1 |
絕地武士 |
0.18.0 |
Jinja2 |
14 |
jmespath |
0.10.0 |
joblib |
1.0.1 |
joblibspark |
0.5.0 |
jsonschema |
3.2.0 |
jupyter-client |
6.1.12 |
jupyter-core |
4.8.1 |
jupyterlab-pygments |
0.1.2 |
jupyterlab-widgets |
1.0.0 |
keras |
2.9.0 |
Keras-Preprocessing |
1.1.2 |
kiwisolver |
1.3.1 |
korean-lunar-calendar |
0.3.1 |
langcodes |
3.3.0 |
libclang |
14.0.6 |
lightgbm |
3.3.2 |
llvmlite |
0.37.0 |
LunarCalendar |
0.0.9 |
尖吻鯖鯊 |
1.2.0 |
減價 |
3.3.6 |
MarkupSafe |
2.0.1 |
matplotlib |
3.4.3 |
matplotlib-inline |
0.1.2 |
missingno |
0.5.1 |
使走調 |
0.8.4 |
mleap |
0.20.0 |
mlflow-skinny |
1.29.0 |
多重方法 |
1.9 |
murmurhash |
1.0.8 |
mypy-extensions |
0.4.3 |
nbclient |
0.5.3 |
nbconvert |
6.1.0 |
nbformat |
5.1.3 |
nest-asyncio |
1.5.1 |
networkx |
2.6.3 |
nltk |
3.6.5 |
筆記本 |
6.4.5 |
numba |
0.54.1 |
numpy |
1.20.3 |
oauthlib |
3.2.0 |
opt-einsum |
3.3.0 |
包裝 |
21.0 |
熊貓 |
1.3.4 |
pandas-profiling |
3.1.0 |
pandocfilters |
3 |
paramiko |
2.9.2 |
parso |
0.8.2 |
pathspec |
0.9.0 |
表“感覺” |
0.6.2 |
容易受騙的人 |
0.5.2 |
petastorm |
0.11.4 |
pexpect |
4.8.0 |
phik |
0.12.2 |
pickleshare |
0.7.5 |
枕頭 |
8.4.0 |
皮普 |
21.2.4 |
Beplay体育安卓版本platformdirs |
2.5.2 |
情節 |
5.9.0 |
pmdarima |
1.8.5 |
棒 |
3.0.7 |
prometheus-client |
0.11.0 |
prompt-toolkit |
3.0.20 |
先知 |
1.0.1 |
protobuf |
3.19.4 |
psutil |
5.8.0 |
psycopg2 |
2.9.3 |
ptyprocess |
0.7.0 |
pyarrow |
7.0.0 |
pyasn1 |
0.4.8 |
pyasn1-modules |
0.2.8 |
pybind11 |
2.10.0 |
pycparser |
2.20 |
pydantic |
1.9.2 |
Pygments |
2.10.0 |
PyGObject |
3.36.0 |
PyJWT |
2.5.0 |
PyMeeus |
0.5.11 |
PyNaCl |
1.5.0 |
pyodbc |
4.0.31 |
pyparsing |
3.0.4 |
pyrsistent |
0.18.0 |
pystan |
2.19.1.1 |
python-dateutil |
2.8.2 |
python編輯器 |
1.0.4 |
pytz |
2021.3 |
PyWavelets |
1.1.1 |
PyYAML |
6．0 |
pyzmq |
22.2.1 |
正則表達式 |
2021.8.3 |
請求 |
2.26.0 |
requests-oauthlib |
1.3.1 |
requests-unixsocket |
0.2.0 |
rsa |
4．9 |
s3transfer |
0.5.2 |
scikit-learn |
0.24.2 |
scipy |
1.7.1上 |
seaborn |
0.11.3 |
Send2Trash |
1.8.0 |
setuptools |
58.0.4 |
setuptools-git |
1．2 |
世鵬科技電子 |
0.41.0 |
simplejson |
3.17.6 |
六個 |
1.16.0 |
切片機 |
0.0.7 |
smart-open |
5.2.1 |
smmap |
5.0.0 |
寬大的 |
3.4.1 |
spacy-legacy |
3.0.10 |
spacy-loggers |
1.0.3 |
spark-tensorflow-distributor |
1.0.0 |
sqlparse |
0.4.2 |
srs |
2.4.4 |
ssh-import-id |
5.10 |
statsmodels |
0.12.2 |
彙總 |
0.8.9 |
tangled-up-in-unicode |
0.1.0 |
韌性 |
8.0.1 |
tensorboard |
2.9.1 |
tensorboard-data-server |
0.6.1 |
tensorboard-plugin-profile |
2.8.0 |
tensorboard-plugin-wit |
1.8.1 |
tensorflow-cpu |
2.9.1 |
tensorflow-estimator |
2.9.0 |
tensorflow-io-gcs-filesystem |
0.27.0 |
termcolor |
2.0.1 |
terminado |
0.9.4 |
testpath |
0.5.0 |
thinc |
8.1.2 |
threadpoolctl |
2.2.0 |
tokenize-rt |
4.2.1 |
分詞器 |
0.12.1 |
tomli |
2.0.1 |
火炬 |
1.12.1 + cpu |
torchvision |
0.13.1 + cpu |
龍卷風 |
6.1 |
tqdm |
4.62.3 |
traitlets |
5.1.0 |
變形金剛 |
4.21.2 |
打字機 |
0.4.2 |
typing-extensions |
3.10.0.2 |
ujson |
4.0.2 |
unattended-upgrades |
0．1 |
urllib3 |
1.26.7 |
virtualenv |
20.8.0 |
願景 |
0.7.4 |
芥末醬 |
0.10.1 |
wcwidth |
0.2.5 |
webencodings |
0.5.1 |
websocket-client |
1.3.1 |
Werkzeug |
2.0.2 |
輪 |
0.37.0 |
widgetsnbextension |
3.6.0 |
打包 |
1.12.1 |
xgboost |
1.6.2 |
氧化鋅碘仿糊 |
3.6.0 |
GPU集群上的Python庫
圖書館 |
版本 |
圖書館 |
版本 |
圖書館 |
版本 |
|---|---|---|---|---|---|
absl-py |
1.0.0 |
argon2-cffi |
20.1.0 |
阿斯特 |
0.8.1 |
astunparse |
1.6.3 |
async-generator |
1.10 |
attrs |
21.2.0 |
azure-core |
1.22.1 |
azure-cosmos |
4.2.0 |
backcall |
0.2.0 |
backports.entry-points-selectable |
1.1.1 |
bcrypt |
4.0.0 |
黑色的 |
22.3.0 |
漂白劑 |
4.0.0 |
bli |
0.7.8 |
boto3 |
1.21.18 |
botocore |
1.24.18 |
cachetools |
5.2.0 |
目錄 |
2.0.8 |
certifi |
2021.10.8 |
cffi |
1.14.6 |
chardet |
4.0.0 |
charset-normalizer |
2.0.4 |
點擊 |
8.0.3 |
cloudpickle |
2.0.0 |
cmdstanpy |
0.9.68 |
糖果 |
0.0.1 |
configparser |
5.2.0 |
convertdate |
測試盒框 |
密碼學 |
3.4.8 |
周期計 |
0.10.0 |
cymem |
2.0.6 |
Cython |
0.29.24 |
databricks-automl-runtime |
0.2.11 |
databricks-cli |
0.17.3 |
dbl-tempo |
0.1.12 |
dbus-python |
1.2.16 |
debugpy |
1.4.1 |
裝飾 |
5.1.0 |
defusedxml |
是0.7.1 |
蒔蘿 |
0.3.4 |
diskcache |
5.4.0 |
distlib |
0.3.6 |
entrypoints |
0.3 |
ephem |
4.1.3 |
facets-overview |
1.0.0 |
fasttext |
0.9.2 |
filelock |
3.3.1 |
瓶 |
1.1.2 |
flatbuffers |
1.12 |
fsspec |
2021.8.1 |
未來 |
0.18.2 |
使驚訝 |
0.4.0 |
gitdb |
4.0.9 |
GitPython |
3.1.27 |
google-auth |
2.6.0 |
google-auth-oauthlib |
0.4.6 |
google-pasta |
0.2.0 |
grpcio |
1.44.0 |
gunicorn |
20.1.0 |
gviz-api |
1.10.0 |
h5py |
3.3.0 |
hijri-converter |
2.2.4 |
假期 |
0.15 |
horovod |
0.25.0 |
htmlmin |
0.1.12 |
huggingface-hub |
0.9.1 |
idna |
3.2 |
ImageHash |
4.3.0 |
imbalanced-learn |
0.8.1 |
importlib-metadata |
4.8.1 |
ipykernel |
6.12.1 |
ipython |
7.32.0 |
ipython-genutils |
0.2.0 |
ipywidgets |
7.7.0 |
isodate |
0.6.1 |
itsdangerous |
2.0.1 |
絕地武士 |
0.18.0 |
Jinja2 |
14 |
jmespath |
0.10.0 |
joblib |
1.0.1 |
joblibspark |
0.5.0 |
jsonschema |
3.2.0 |
jupyter-client |
6.1.12 |
jupyter-core |
4.8.1 |
jupyterlab-pygments |
0.1.2 |
jupyterlab-widgets |
1.0.0 |
keras |
2.9.0 |
Keras-Preprocessing |
1.1.2 |
kiwisolver |
1.3.1 |
korean-lunar-calendar |
0.3.1 |
langcodes |
3.3.0 |
libclang |
14.0.6 |
lightgbm |
3.3.2 |
llvmlite |
0.37.0 |
LunarCalendar |
0.0.9 |
尖吻鯖鯊 |
1.2.0 |
減價 |
3.3.6 |
MarkupSafe |
2.0.1 |
matplotlib |
3.4.3 |
matplotlib-inline |
0.1.2 |
missingno |
0.5.1 |
使走調 |
0.8.4 |
mleap |
0.20.0 |
mlflow-skinny |
1.29.0 |
多重方法 |
1.9 |
murmurhash |
1.0.8 |
mypy-extensions |
0.4.3 |
nbclient |
0.5.3 |
nbconvert |
6.1.0 |
nbformat |
5.1.3 |
nest-asyncio |
1.5.1 |
networkx |
2.6.3 |
nltk |
3.6.5 |
筆記本 |
6.4.5 |
numba |
0.54.1 |
numpy |
1.20.3 |
oauthlib |
3.2.0 |
opt-einsum |
3.3.0 |
包裝 |
21.0 |
熊貓 |
1.3.4 |
pandas-profiling |
3.1.0 |
pandocfilters |
3 |
paramiko |
2.9.2 |
parso |
0.8.2 |
pathspec |
0.9.0 |
表“感覺” |
0.6.2 |
容易受騙的人 |
0.5.2 |
petastorm |
0.11.4 |
pexpect |
4.8.0 |
phik |
0.12.2 |
pickleshare |
0.7.5 |
枕頭 |
8.4.0 |
皮普 |
21.2.4 |
Beplay体育安卓版本platformdirs |
2.5.2 |
情節 |
5.9.0 |
pmdarima |
1.8.5 |
棒 |
3.0.7 |
prompt-toolkit |
3.0.20 |
先知 |
1.0.1 |
protobuf |
3.19.4 |
psutil |
5.8.0 |
psycopg2 |
2.9.3 |
ptyprocess |
0.7.0 |
pyarrow |
7.0.0 |
pyasn1 |
0.4.8 |
pyasn1-modules |
0.2.8 |
pybind11 |
2.10.0 |
pycparser |
2.20 |
pydantic |
1.9.2 |
Pygments |
2.10.0 |
PyGObject |
3.36.0 |
PyJWT |
2.5.0 |
PyMeeus |
0.5.11 |
PyNaCl |
1.5.0 |
pyodbc |
4.0.31 |
pyparsing |
3.0.4 |
pyrsistent |
0.18.0 |
pystan |
2.19.1.1 |
python-dateutil |
2.8.2 |
python編輯器 |
1.0.4 |
pytz |
2021.3 |
PyWavelets |
1.1.1 |
PyYAML |
6．0 |
pyzmq |
22.2.1 |
正則表達式 |
2021.8.3 |
請求 |
2.26.0 |
requests-oauthlib |
1.3.1 |
requests-unixsocket |
0.2.0 |
rsa |
4．9 |
s3transfer |
0.5.2 |
scikit-learn |
0.24.2 |
scipy |
1.7.1上 |
seaborn |
0.11.3 |
Send2Trash |
1.8.0 |
setuptools |
58.0.4 |
setuptools-git |
1．2 |
世鵬科技電子 |
0.41.0 |
simplejson |
3.17.6 |
六個 |
1.16.0 |
切片機 |
0.0.7 |
smart-open |
5.2.1 |
smmap |
5.0.0 |
寬大的 |
3.4.1 |
spacy-legacy |
3.0.10 |
spacy-loggers |
1.0.3 |
spark-tensorflow-distributor |
1.0.0 |
sqlparse |
0.4.2 |
srs |
2.4.4 |
ssh-import-id |
5.10 |
statsmodels |
0.12.2 |
彙總 |
0.8.9 |
tangled-up-in-unicode |
0.1.0 |
韌性 |
8.0.1 |
tensorboard |
2.9.1 |
tensorboard-data-server |
0.6.1 |
tensorboard-plugin-profile |
2.8.0 |
tensorboard-plugin-wit |
1.8.1 |
tensorflow |
2.9.1 |
tensorflow-estimator |
2.9.0 |
tensorflow-io-gcs-filesystem |
0.27.0 |
termcolor |
2.0.1 |
terminado |
0.9.4 |
testpath |
0.5.0 |
thinc |
8.1.2 |
threadpoolctl |
2.2.0 |
tokenize-rt |
4.2.1 |
分詞器 |
0.12.1 |
tomli |
2.0.1 |
火炬 |
1.12.1 + cu113 |
torchvision |
0.13.1 + cu113 |
龍卷風 |
6.1 |
tqdm |
4.62.3 |
traitlets |
5.1.0 |
變形金剛 |
4.21.2 |
打字機 |
0.4.2 |
typing-extensions |
3.10.0.2 |
ujson |
4.0.2 |
unattended-upgrades |
0．1 |
urllib3 |
1.26.7 |
virtualenv |
20.8.0 |
願景 |
0.7.4 |
芥末醬 |
0.10.1 |
wcwidth |
0.2.5 |
webencodings |
0.5.1 |
websocket-client |
1.3.1 |
Werkzeug |
2.0.2 |
輪 |
0.37.0 |
widgetsnbextension |
3.6.0 |
打包 |
1.12.1 |
xgboost |
1.6.2 |
氧化鋅碘仿糊 |
3.6.0 |
Java和Scala庫(Scala 2.12集群)
除了在Databricks Runtime 11.3 LTS中的Java和Scala庫之外，Databricks Runtime 11.3 LTS ML還包含以下jar:
CPU集群
組ID |
工件ID |
版本 |
|---|---|---|
com.typesafe.akka |
akka-actor_2.12 |
2.5.23 |
ml.combust.mleap |
mleap-databricks-runtime_2.12 |
v0.20.0-db1 |
ml.dmlc |
xgboost4j-spark_2.12 |
1.6.2 |
ml.dmlc |
xgboost4j_2.12 |
1.6.2 |
org.graphframes |
graphframes_2.12 |
0.8.2-db1-spark3.2 |
org.mlflow |
mlflow-client |
1.29.0 |
org.scala-lang.modules |
scala-java8-compat_2.12 |
0.8.0 |
org.tensorflow |
spark-tensorflow-connector_2.12 |
1.15.0 |
GPU集群
組ID |
工件ID |
版本 |
|---|---|---|
com.typesafe.akka |
akka-actor_2.12 |
2.5.23 |
ml.combust.mleap |
mleap-databricks-runtime_2.12 |
v0.20.0-db1 |
ml.dmlc |
xgboost4j-gpu_2.12 |
1.6.2 |
ml.dmlc |
xgboost4j-spark-gpu_2.12 |
1.6.2 |
org.graphframes |
graphframes_2.12 |
0.8.2-db1-spark3.2 |
org.mlflow |
mlflow-client |
1.29.0 |
org.scala-lang.modules |
scala-java8-compat_2.12 |
0.8.0 |
org.tensorflow |
spark-tensorflow-connector_2.12 |
1.15.0 |