深度學習

本文描述了磚提供培訓和微調的深度學習模型。磚機器學習運行時提供的預構建深度學習的基礎設施,包括常見的深度學習圖書館像擁抱臉變形金剛,PyTorch TensorFlow, Keras。它也有圖書館像Petastorm Hyperopt, Horovod輕鬆規模常見的機器學習和深度學習步驟。,包括預配置的GPU支持包括司機和庫加速模型訓練和推理。

看到深度學習的最佳實踐在磚上。

大型語言模型(llm)

磚使它簡單的訪問並建立公開的大型語言模型。

磚等機器學習庫包括運行時的擁抱臉變形金剛,允許您將現有pre-trained模型或其他開源庫集成到您的工作流。從這裏,您可以利用磚平台的功能來調整llm使用您自己的數據域的性能更好。Beplay体育安卓版本

此外,磚為SQL用戶訪問提供了內置功能和試驗llm Azure OpenAI和OpenAI使用人工智能的功能。

擁抱的臉變形金剛

和擁抱的臉變形金剛磚可以擴展你的自然語言處理(NLP)批處理應用程序為大型的語言模型和調整模型應用程序。

擁抱的臉變形金剛圖書館是預裝在磚運行時10.4 LTS毫升以上。許多流行的NLP模型GPU硬件上效果最好,所以你可能會獲得最佳性能使用最近的GPU硬件,除非你使用一個cpu上專門為使用優化模型。

人工智能功能

預覽

這個特性是在公共預覽。

人工智能功能是內置的SQL函數,允許SQL用戶:

  • 訪問公共大型語言模型類似於Azure OpenAI和開放的AI和實驗與他們公司的數據。

  • 查詢模型由磚模型從SQL查詢服務端點。

這些函數是僅可在SQL讚成或Serverless公共預覽數據磚。

PyTorch

PyTorch磚中包含運行時對機器學習和提供GPU加速的張量計算和高級功能構建深度學習網絡。您可以執行單一節點與PyTorch培訓或分布式數據磚。看到PyTorch。

Tensorflow

磚運行時機器學習包括TensorFlow TensorBoard,所以您可以使用這些庫沒有安裝任何包。TensorFlow支持深度學習和通用數值計算cpu、gpu和集群gpu。TensorBoard提供可視化工具來幫助您調試和優化機器學習和深度學習工作流。看到TensorFlow對於單節點和分布式訓練例子。

分布式訓練

因為深度學習模型數據,計算密集型分布式訓練可能是重要的。例如與Horovod使用集成的分布式深度學習,spark-tensorflow-distributorTorchDistributor,明白了分布式訓練。