機器學習運行時

特性

框架的選擇

毫升框架:最流行的ML庫和框架是開箱即用的，包括TensorFlow, Keras, PyTorch, MLflow, Horovod, GraphFrames, scikit-learn, XGboost, numpy, MLeap和Pandas。

增強毫升

自動化實驗跟蹤:使用開源或托管MLflow和並行坐標繪圖特性跟蹤、比較和可視化數十萬個實驗。

自動模型搜索(單節點ML):通過增強的Hyperopt和自動跟蹤MLflow，優化和分布式跨多個模型架構的條件超參數搜索。

單節點機器學習的自動超參數調優:優化和分布式超參數搜索，增強Hyperopt和自動跟蹤MLflow。

分布式機器學習的自動超參數調優:深度集成PySpark MLlib的交叉驗證，自動跟蹤MLlib在MLflow中的實驗。

優化簡化縮放

優化TensorFlow:受益於GPU集群上TensorFlow cuda優化版本，獲得最大性能。

HorovodRunner:快速遷移你的單節點深度學習訓練代碼，使用HorovodRunner在Databricks集群上運行，HorovodRunner是一個簡單的API，它抽象了使用Horovod進行分布式訓練時所麵臨的複雜情況。

優化的MLlib邏輯回歸和樹分類器:最流行的評估器已經作為ML Databricks Runtime的一部分進行了優化，與Apache Spark 2.4.0相比，它提供了高達40%的速度提升。

優化GraphFrames:運行GraphFrames速度提高2-4倍，Graph查詢速度提高100倍，這取決於工作負載和數據傾斜。

深度學習負載優化存儲:在以下方麵利用高性能解決方案Azure＆AWS對於數據加載和模型檢查點，這兩者都是深度學習訓練工作負載的關鍵。