擁抱是什麼臉變形金剛?

本文介紹了擁抱的臉變形金剛磚。它包括指導為什麼用擁抱臉上變壓器以及如何將它安裝在您的集群。

背景擁抱臉變形金剛

擁抱的臉變形金剛是一個開源框架,深入學習了擁抱的臉。它提供了api和工具下載最先進的pre-trained模型,進一步優化它們來最大化性能。這些模型在不同的形式支持常見的任務,如自然語言處理、計算機視覺、音頻和多模式應用程序。

請注意

Apache 2.0許可。

磚運行時機器學習包括擁抱的臉變形金剛在磚運行時10.4 LTS毫升以上,包括擁抱的臉數據集,加速,評估在磚運行時的13.0毫升以上。

檢查哪個版本的擁抱的臉是包含在您的配置數據磚運行時ML版本,請參見Python庫部分相關發布說明。

為什麼要用擁抱臉變形金剛?

對於許多應用程序,如情緒分析和文本摘要,pre-trained模型沒有任何額外的模型訓練工作得很好。

擁抱的臉變形金剛管道編碼最佳實踐和有默認模型選擇不同的任務,因此很容易開始。管道使其易於使用GPU時可用,讓批處理的物品發送到GPU進行更好的吞吐量性能。

擁抱麵臨提供:

  • 一個模型中心包含許多pre-trained模型。

  • 的變形金剛的圖書館支持NLP的下載和使用這些模型的應用和微調。通常需要記號賦予器和模型對自然語言處理任務。

  • 變形金剛管道有一個簡單的接口對於大多數自然語言處理任務。

安裝變形金剛

如果磚你集群上運行時版本不包括擁抱的臉變形金剛,你可以安裝最新的擁抱變形金剛圖書館作為一個磚PyPI圖書館。

% pip安裝變壓器

安裝模型依賴

不同的模型有不同的依賴關係。磚建議你使用% pip神奇的命令根據需要安裝這些依賴項。

以下是常見的依賴關係:

  • librosa:支持解碼音頻文件。

  • soundfile:需要而產生一些音頻數據集。

  • bitsandbytes:當使用load_in_8bit = True。

  • SentencePiece:用作NLP記號賦予器模型。

  • 蒂姆要求:DetrForSegmentation。

單節點的訓練

測試和遷移單機工作流程,使用單節點集群。

額外的資源

以下文章包括示例筆記本和指導如何使用擁抱的臉變形金剛對於大型語言模型(LLM)微調和模型推斷磚。