Databricks Runtime 9.0 for Machine Learning(不支持)
Databricks在2021年8月發布了這張圖片。
Databricks Runtime 9.0 for Machine Learning為機器學習和數據科學提供了一個現成的環境Databricks Runtime 9.0(不支持)．Databricks Runtime ML包含許多流行的機器學習庫，包括TensorFlow、PyTorch和XGBoost。它還支持使用Horovod進行分布式深度學習訓練。
有關更多信息，包括創建Databricks Runtime ML集群的說明，請參見用於機器學習的Databricks運行時．
修正
這些發布說明的前一個版本指出，在Databricks Runtime 9.0 ML GPU中禁用了使用Ganglia監視集群GPU指標的支持。這在Databricks Runtime 9.0 ML Beta中是正確的，但是這個問題在Databricks Runtime 9.0 ML GA中得到了修複。該聲明已被刪除。
新功能和改進
Databricks Runtime 9.0 ML是在Databricks Runtime 9.0基礎上構建的。有關Databricks Runtime 9.0(包括Apache Spark MLlib和SparkR)中新增內容的信息，請參見Databricks Runtime 9.0(不支持)發行說明。
數據庫自動登入(公開預覽)
Databricks Autologging現在可用於Databricks Runtime 9.0的機器學習部分區域。Databricks autlogging是一個無代碼解決方案，它為Databricks上的機器學習培訓課程提供自動實驗跟蹤。通過Databricks autlogging，當您從各種流行的機器學習庫中訓練模型時，可以自動捕獲模型參數、指標、文件和沿襲信息。培訓課程記錄為MLflow跟蹤運行．模型文件也被跟蹤，因此您可以輕鬆地將它們記錄到MLflow模型注冊表並將其用於實時評分MLflow模型服務．
有關Databricks自動登錄的更多信息，請參見磚Autologging．
XGBoost與PySpark的集成現在支持分布式培訓和GPU集群
詳情請參見與Spark MLlib (Python)的集成．
對Databricks Runtime ML Python環境的主要更改
Conda環境以及% Conda命令將被刪除。Databricks Runtime 9.0 ML是用它構建的皮普而且virtualenv．使用基於conda的環境自定義映像Databricks集裝箱服務公司仍將受到支持，但將不具有筆記本範圍的庫功能。Databricks建議使用基於virtualenv的環境與Databricks容器服務和%皮普適用於所有筆記本範圍的庫。
看到Databricks Runtime 9.0(不支持)查看Databricks Runtime Python環境的主要更改。有關已安裝Python包及其版本的完整列表，請參見Python庫．
係統環境
“Databricks Runtime 9.0 ML”與“Databricks Runtime 9.0 ML”的係統環境差異如下:
DBUtils: Databricks Runtime ML不包含庫實用程序(dbutls . Library)．使用
%皮普而不是命令。看到筆記本範圍的Python庫．對於GPU集群，Databricks Runtime ML包含以下NVIDIA GPU庫:
CUDA 11.0
cuDNN 8.1.0.77
NCCL 2.10.3
TensorRT 7.2.2
庫
以下部分列出了Databricks Runtime 9.0 ML中包含的與Databricks Runtime 9.0中包含的不同的庫。
Python庫
Databricks Runtime 9.0 ML使用Virtualenv進行Python包管理，並包含許多流行的ML包。
除以下章節中指定的包外，Databricks Runtime 9.0 ML還包含以下包:
hyperopt 0.2.5.db2
sparkdl 2.2.0_db1
feature_store 0.3.3
automl 1.1.1
CPU集群上的Python庫
圖書館 |
版本 |
圖書館 |
版本 |
圖書館 |
版本 |
|---|---|---|---|---|---|
absl-py |
0.11.0 |
Antergos Linux |
2015.10 (ISO-Rolling) |
appdirs |
1.4.4 |
argon2-cffi |
20.1.0 |
阿斯特 |
0.8.1 |
astunparse |
1.6.3 |
async-generator |
1.10 |
attrs |
20.3.0 |
backcall |
0.2.0 |
bcrypt |
3.2.0 |
漂白劑 |
3.3.0 |
boto3 |
1.16.7 |
botocore |
1.19.7 |
瓶頸 |
1.3.2 |
cachetools |
4.2.2 |
certifi |
2020.12.5 |
cffi |
1.14.5 |
chardet |
4.0.0 |
點擊 |
7.1.2 |
cloudpickle |
1.6.0 |
cmdstanpy |
0.9.68 |
configparser |
5.0.1 |
convertdate |
2.3.2 |
密碼學 |
3.4.7 |
周期計 |
0.10.0 |
Cython |
0.29.23 |
databricks-cli |
0.14.3 |
dbus-python |
1.2.16 |
裝飾 |
5.0.6 |
defusedxml |
是0.7.1 |
蒔蘿 |
0.3.2 |
diskcache |
5.2.1 |
distlib |
0.3.2 |
distro-info |
0.23 ubuntu1 |
entrypoints |
0.3 |
ephem |
4.0.0.2 |
facets-overview |
1.0.0 |
filelock |
3.0.12 |
瓶 |
1.1.2 |
flatbuffers |
1.12 |
fsspec |
0.9.0 |
未來 |
0.18.2 |
使驚訝 |
0.4.0 |
gitdb |
4.0.7 |
GitPython |
3.1.12 |
google-auth |
1.22.1 |
google-auth-oauthlib |
0.4.2 |
google-pasta |
0.2.0 |
grpcio |
1.34.1 |
gunicorn |
20.0.4 |
h5py |
3.1.0 |
hijri-converter |
2.1.3 |
假期 |
0.10.5.2 |
horovod |
0.22.1 |
htmlmin |
0.1.12 |
idna |
2.10 |
ImageHash |
4.2.1 |
ipykernel |
5.3.4 |
ipython |
7.22.0 |
ipython-genutils |
0.2.0 |
ipywidgets |
7.6.4 |
isodate |
0.6.0 |
itsdangerous |
1.1.0 |
絕地武士 |
0.17.2 |
Jinja2 |
14 |
jmespath |
0.10.0 |
joblib |
1.0.1 |
joblibspark |
0.3.0 |
jsonschema |
3.2.0 |
jupyter-client |
6.1.12 |
jupyter-core |
4.7.1 |
jupyterlab-pygments |
0.1.2 |
jupyterlab-widgets |
1.0.1 |
keras-nightly |
2.5.0.dev2021032900 |
Keras-Preprocessing |
1.1.2 |
kiwisolver |
1.3.1 |
考拉 |
1.8.1 |
korean-lunar-calendar |
0.2.1 |
lightgbm |
3.1.1 |
llvmlite |
0.36.0 |
LunarCalendar |
0.0.9 |
尖吻鯖鯊 |
1.1.3 |
減價 |
3.3.3 |
MarkupSafe |
1.1.1 |
matplotlib |
3.4.2 |
missingno |
0.5.0 |
使走調 |
0.8.4 |
mleap |
0.17.0 |
mlflow-skinny |
1.19.0 |
多重方法 |
1．4 |
nbclient |
0.5.3 |
nbconvert |
6.0.7 |
nbformat |
5.1.3 |
nest-asyncio |
1.5.1 |
networkx |
2.5 |
nltk |
3.6.1 |
筆記本 |
6.3.0 |
numba |
0.53.1 |
numpy |
1.19.2 |
oauthlib |
3.1.0 |
opt-einsum |
3.3.0 |
包裝 |
20.9 |
熊貓 |
1.2.4 |
pandas-profiling |
3.0.0 |
pandocfilters |
3 |
paramiko |
2.7.2 |
parso |
0.7.0 |
容易受騙的人 |
0.5.1 |
petastorm |
0.11.1 |
pexpect |
4.8.0 |
phik |
0.12.0 |
pickleshare |
0.7.5 |
枕頭 |
8.2.0 |
皮普 |
21.0.1 |
情節 |
4.14.3 |
prometheus-client |
0.10.1 |
prompt-toolkit |
3.0.17 |
先知 |
1.0.1 |
protobuf |
3.17.2 |
psutil |
5.8.0 |
psycopg2 |
2.8.5 |
ptyprocess |
0.7.0 |
pyarrow |
4.0.0 |
pyasn1 |
0.4.8 |
pyasn1-modules |
0.2.8 |
pycparser |
2.20 |
pydantic |
1.8.2 |
Pygments |
2.8.1發布 |
PyGObject |
3.36.0 |
PyMeeus |
0.5.11 |
PyNaCl |
1.3.0 |
pyodbc |
4.0.30 |
pyparsing |
2.4.7 |
pyrsistent |
0.17.3 |
pystan |
2.19.1.1 |
python-apt |
2.0.0 + ubuntu0.20.4.6 |
python-dateutil |
2.8.1發布 |
python編輯器 |
1.0.4 |
pytz |
2020.5 |
PyWavelets |
1.1.1 |
PyYAML |
5.4.1之前 |
pyzmq |
20.0.0 |
正則表達式 |
2021.4.4 |
請求 |
2.25.1 |
requests-oauthlib |
1.3.0 |
requests-unixsocket |
0.2.0 |
重試 |
1.3.3 |
rsa |
4.7.2 |
s3transfer |
0.3.7 |
scikit-learn |
0.24.1 |
scipy |
1.6.2 |
seaborn |
0.11.1 |
Send2Trash |
1.5.0 |
setuptools |
52.0.0 |
setuptools-git |
1．2 |
世鵬科技電子 |
0.39.0 |
simplejson |
3.17.2 |
六個 |
1.15.0 |
切片機 |
0.0.7 |
smmap |
3.0.5 |
spark-tensorflow-distributor |
0.1.0 |
sqlparse |
0.4.1 |
ssh-import-id |
5.10 |
statsmodels |
0.12.2 |
彙總 |
0.8.7 |
tangled-up-in-unicode |
0.1.0 |
tensorboard |
2.5.0 |
tensorboard-data-server |
0.6.1 |
tensorboard-plugin-wit |
1.8.0 |
tensorflow-cpu |
2.5.0 |
tensorflow-estimator |
2.5.0 |
termcolor |
1.1.0 |
terminado |
0.9.4 |
testpath |
0.4.4 |
threadpoolctl |
魅惑 |
火炬 |
1.9.0 + cpu |
torchvision |
0.10.0 + cpu |
龍卷風 |
6.1 |
tqdm |
4.59.0 |
traitlets |
5.0.5 |
typing-extensions |
3.7.4.3 |
ujson |
4.0.2 |
unattended-upgrades |
0．1 |
urllib3 |
1.25.11 |
virtualenv |
20.4.1 |
願景 |
是0.7.1 |
wcwidth |
0.2.5 |
webencodings |
0.5.1 |
websocket-client |
0.57.0 |
Werkzeug |
1.0.1 |
輪 |
0.36.2 |
widgetsnbextension |
3.5.1 |
打包 |
1.12.1 |
xgboost |
1.4.2 |
GPU集群上的Python庫
圖書館 |
版本 |
圖書館 |
版本 |
圖書館 |
版本 |
|---|---|---|---|---|---|
absl-py |
0.11.0 |
Antergos Linux |
2015.10 (ISO-Rolling) |
appdirs |
1.4.4 |
argon2-cffi |
20.1.0 |
阿斯特 |
0.8.1 |
astunparse |
1.6.3 |
async-generator |
1.10 |
attrs |
20.3.0 |
backcall |
0.2.0 |
bcrypt |
3.2.0 |
漂白劑 |
3.3.0 |
boto3 |
1.16.7 |
botocore |
1.19.7 |
瓶頸 |
1.3.2 |
cachetools |
4.2.2 |
certifi |
2020.12.5 |
cffi |
1.14.5 |
chardet |
4.0.0 |
點擊 |
7.1.2 |
cloudpickle |
1.6.0 |
cmdstanpy |
0.9.68 |
configparser |
5.0.1 |
convertdate |
2.3.2 |
密碼學 |
3.4.7 |
周期計 |
0.10.0 |
Cython |
0.29.23 |
databricks-cli |
0.14.3 |
dbus-python |
1.2.16 |
裝飾 |
5.0.6 |
defusedxml |
是0.7.1 |
蒔蘿 |
0.3.2 |
diskcache |
5.2.1 |
distlib |
0.3.2 |
distro-info |
0.23 ubuntu1 |
entrypoints |
0.3 |
ephem |
4.0.0.2 |
facets-overview |
1.0.0 |
filelock |
3.0.12 |
瓶 |
1.1.2 |
flatbuffers |
1.12 |
fsspec |
0.9.0 |
未來 |
0.18.2 |
使驚訝 |
0.4.0 |
gitdb |
4.0.7 |
GitPython |
3.1.12 |
google-auth |
1.22.1 |
google-auth-oauthlib |
0.4.2 |
google-pasta |
0.2.0 |
grpcio |
1.34.1 |
gunicorn |
20.0.4 |
h5py |
3.1.0 |
hijri-converter |
2.1.3 |
假期 |
0.10.5.2 |
horovod |
0.22.1 |
htmlmin |
0.1.12 |
idna |
2.10 |
ImageHash |
4.2.1 |
ipykernel |
5.3.4 |
ipython |
7.22.0 |
ipython-genutils |
0.2.0 |
ipywidgets |
7.6.4 |
isodate |
0.6.0 |
itsdangerous |
1.1.0 |
絕地武士 |
0.17.2 |
Jinja2 |
14 |
jmespath |
0.10.0 |
joblib |
1.0.1 |
joblibspark |
0.3.0 |
jsonschema |
3.2.0 |
jupyter-client |
6.1.12 |
jupyter-core |
4.7.1 |
jupyterlab-pygments |
0.1.2 |
jupyterlab-widgets |
1.0.1 |
keras-nightly |
2.5.0.dev2021032900 |
Keras-Preprocessing |
1.1.2 |
kiwisolver |
1.3.1 |
考拉 |
1.8.1 |
korean-lunar-calendar |
0.2.1 |
lightgbm |
3.1.1 |
llvmlite |
0.36.0 |
LunarCalendar |
0.0.9 |
尖吻鯖鯊 |
1.1.3 |
減價 |
3.3.3 |
MarkupSafe |
1.1.1 |
matplotlib |
3.4.2 |
missingno |
0.5.0 |
使走調 |
0.8.4 |
mleap |
0.17.0 |
mlflow-skinny |
1.19.0 |
多重方法 |
1．4 |
nbclient |
0.5.3 |
nbconvert |
6.0.7 |
nbformat |
5.1.3 |
nest-asyncio |
1.5.1 |
networkx |
2.5 |
nltk |
3.6.1 |
筆記本 |
6.3.0 |
numba |
0.53.1 |
numpy |
1.19.2 |
oauthlib |
3.1.0 |
opt-einsum |
3.3.0 |
包裝 |
20.9 |
熊貓 |
1.2.4 |
pandas-profiling |
3.0.0 |
pandocfilters |
3 |
paramiko |
2.7.2 |
parso |
0.7.0 |
容易受騙的人 |
0.5.1 |
petastorm |
0.11.1 |
pexpect |
4.8.0 |
phik |
0.12.0 |
pickleshare |
0.7.5 |
枕頭 |
8.2.0 |
皮普 |
21.0.1 |
情節 |
4.14.3 |
prometheus-client |
0.11.0 |
prompt-toolkit |
3.0.17 |
先知 |
1.0.1 |
protobuf |
3.17.2 |
psutil |
5.8.0 |
psycopg2 |
2.8.5 |
ptyprocess |
0.7.0 |
pyarrow |
4.0.0 |
pyasn1 |
0.4.8 |
pyasn1-modules |
0.2.8 |
pycparser |
2.20 |
pydantic |
1.8.2 |
Pygments |
2.8.1發布 |
PyGObject |
3.36.0 |
PyMeeus |
0.5.11 |
PyNaCl |
1.3.0 |
pyodbc |
4.0.30 |
pyparsing |
2.4.7 |
pyrsistent |
0.17.3 |
pystan |
2.19.1.1 |
python-apt |
2.0.0 + ubuntu0.20.4.6 |
python-dateutil |
2.8.1發布 |
python編輯器 |
1.0.4 |
pytz |
2020.5 |
PyWavelets |
1.1.1 |
PyYAML |
5.4.1之前 |
pyzmq |
20.0.0 |
正則表達式 |
2021.4.4 |
請求 |
2.25.1 |
requests-oauthlib |
1.3.0 |
requests-unixsocket |
0.2.0 |
重試 |
1.3.3 |
rsa |
4.7.2 |
s3transfer |
0.3.7 |
scikit-learn |
0.24.1 |
scipy |
1.6.2 |
seaborn |
0.11.1 |
Send2Trash |
1.5.0 |
setuptools |
52.0.0 |
setuptools-git |
1．2 |
世鵬科技電子 |
0.39.0 |
simplejson |
3.17.2 |
六個 |
1.15.0 |
切片機 |
0.0.7 |
smmap |
3.0.5 |
spark-tensorflow-distributor |
0.1.0 |
sqlparse |
0.4.1 |
ssh-import-id |
5.10 |
statsmodels |
0.12.2 |
彙總 |
0.8.7 |
tangled-up-in-unicode |
0.1.0 |
tensorboard |
2.5.0 |
tensorboard-data-server |
0.6.1 |
tensorboard-plugin-wit |
1.8.0 |
tensorflow |
2.5.0 |
tensorflow-estimator |
2.5.0 |
termcolor |
1.1.0 |
terminado |
0.9.4 |
testpath |
0.4.4 |
threadpoolctl |
魅惑 |
火炬 |
1.9.0 + cu111 |
torchvision |
0.10.0 + cu111 |
龍卷風 |
6.1 |
tqdm |
4.59.0 |
traitlets |
5.0.5 |
typing-extensions |
3.7.4.3 |
ujson |
4.0.2 |
unattended-upgrades |
0．1 |
urllib3 |
1.25.11 |
virtualenv |
20.4.1 |
願景 |
是0.7.1 |
wcwidth |
0.2.5 |
webencodings |
0.5.1 |
websocket-client |
0.57.0 |
Werkzeug |
1.0.1 |
輪 |
0.36.2 |
widgetsnbextension |
3.5.1 |
打包 |
1.12.1 |
xgboost |
1.4.2 |
Java和Scala庫(Scala 2.12集群)
除了Databricks Runtime 9.0中的Java和Scala庫之外，Databricks Runtime 9.0 ML還包含以下jar:
CPU集群
組ID |
工件ID |
版本 |
|---|---|---|
com.typesafe.akka |
akka-actor_2.12 |
2.5.23 |
ml.combust.mleap |
mleap-databricks-runtime_2.12 |
0.17.0-4882dc3 |
ml.dmlc |
xgboost4j-spark_2.12 |
1.4.1 |
ml.dmlc |
xgboost4j_2.12 |
1.4.1 |
org.graphframes |
graphframes_2.12 |
0.8.1-db2-spark3.1 |
org.mlflow |
mlflow-client |
1.19.0 |
org.mlflow |
mlflow-spark |
1.19.0 |
org.scala-lang.modules |
scala-java8-compat_2.12 |
0.8.0 |
org.tensorflow |
spark-tensorflow-connector_2.12 |
1.15.0 |
GPU集群
組ID |
工件ID |
版本 |
|---|---|---|
com.typesafe.akka |
akka-actor_2.12 |
2.5.23 |
ml.combust.mleap |
mleap-databricks-runtime_2.12 |
0.17.0-4882dc3 |
ml.dmlc |
xgboost4j-gpu_2.12 |
1.4.1 |
ml.dmlc |
xgboost4j-spark-gpu_2.12 |
1.4.1 |
org.graphframes |
graphframes_2.12 |
0.8.1-db2-spark3.1 |
org.mlflow |
mlflow-client |
1.19.0 |
org.mlflow |
mlflow-spark |
1.19.0 |
org.scala-lang.modules |
scala-java8-compat_2.12 |
0.8.0 |
org.tensorflow |
spark-tensorflow-connector_2.12 |
1.15.0 |