免費多莉:引入了世界上第一個真正開放Instruction-Tuned LLM

通過邁克。科諾菲爾,馬特·海耶斯,Ankit Mathur,健胃謝,6月灣,薩姆沙,阿裏Ghodsi,帕特裏克·溫德爾,馬泰Zaharia和雷諾鑫

2023年4月12日, 在公司博客上

分享這篇文章

兩周前,我們釋放多莉,一個大的語言模型(LLM)訓練不到30美元展覽ChatGPT-like人類交互性(又名instruction-following)。今天,我們發布多莉2.0,第一個開源instruction-following LLM調整在一個人為的指令集授權研究和商業用途。

多莉2.0是一個語言模型基於12 b參數EleutherAI 皮提亞模範家庭,隻調整一個新的,高質量的人工生成的指令數據集後,眾包磚之間的員工。

我們是開源多莉2.0的全部,包括培訓代碼,數據集和權重的模型,所有適合商業用途。這意味著任何組織可以創建、自己的強大和定製llm可以傾訴的人,沒有支付API訪問或與第三方共享數據。

databricks-dolly-15k數據集

databricks-dolly-15k包含15000個高質量的人為的提示/響應對專門為指導設計優化大型語言模型。下的許可條款databricks-dolly-15k(創作共用授權3.0 Unported許可證),任何人都可以使用、修改或擴展為任何目的,這個數據集包括商業應用程序。

我們所知,這個數據集是第一個開源的,人為的指令集專門設計製造大型語言模型展覽ChatGPT的神奇的交互性。databricks-dolly-15k由超過5000磚員工在2023年3月和4月。這些培訓記錄自然,表達和設計代表廣泛的行為,通過頭腦風暴的方式和內容生成信息提取和總結。

為什麼我們創建一個新的數據集?

當我們發布了1.0多利,我們被請求淹沒的人想試試。數量一個問題,我們經常是“我可以使用這個商業嗎?”

一個關鍵的步驟,創建多莉1.0,或任何指令llm後,火車模型在數據集教學和響應對。多莉1.0訓練30美元使用斯坦福羊駝團隊創建的數據集使用OpenAI API。數據集包含輸出ChatGPT,斯坦福團隊指出,服務條款尋求防止任何人創建一個模型,該模型與OpenAI競爭。所以,不幸的是,這種常見問題的答案是,“可能不是!”

據我們所知,所有現有的知名instruction-following模型(羊駝,考拉,GPT4All,小羊駝)受到這個限製,禁止商業用途。為了解決這個難題,我們開始尋找方法來創建一個新的數據集不是商業用途的“汙染”。

我們是怎麼做到的?

我們知道OpenAI研究紙原InstructGPT模型訓練數據集組成的13000指令後行為的示威活動。靈感來自這,我們看到如果我們能達到類似的效果與磚員工帶頭衝鋒。

結果,生成13 k問題和答案是比看起來難。每一個回答都是原創。它不能被複製從ChatGPT或網絡上的任何地方,或將玷汙我們的數據集。似乎令人生畏,但是磚有超過5000員工llm非常感興趣。所以我們認為我們可以集思廣益,其中創建一個更高質量的數據集比40 OpenAI貼標簽機創造了。但我們知道他們都忙,有全職工作,所以我們需要鼓勵他們這樣做。

我們建立了一個比賽,前20名貼標簽機將得到一個大獎項。我們還列出了7非常具體的任務:

開放問答:例如,“人們為什麼喜歡喜劇電影嗎?”或“法國的首都是什麼?“在某些情況下,沒有一個正確的答案,其他,它需要利用世界的知識。
關閉問答:這些問題可以回答隻使用一段中包含的信息的參考文本。例如,給定一段從維基百科上的原子,有人可能會問,“什麼是質子和中子在原子核之間的比?”
從維基百科中提取信息:這裏的注釋器將複製一段從維基百科和提取實體或其他事實信息,如重量或測量的通道。
總結信息從維基百科:從維基百科,注釋器提供了一個通道,被要求提煉一個簡短的總結。
頭腦風暴:這個任務要求的意念和一個關聯的可能的選項列表。例如,“有什麼有趣的活動我可以做這個周末和我的朋友嗎?”。
分類:對於這個任務,注釋器被要求做出判斷類成員(例如在一個列表上的項目都是動物,礦物質或蔬菜)或判斷短段落文本的屬性,比如電影評論的情緒。
創意寫作:這個任務包括寫詩或一封情書。

開放的QA的例子databricks-dolly-15k

如何構建一個篝火?

當開始篝火安全應該是第一位的。確保你水或另一種方式撲滅火。使用一個篝火環、坑或清晰的篝火周圍大麵積的位置。另外,確保篝火被允許在你的區域。

安全的,所有火需要熱量,燃料和氧氣。任何易燃材料會引起火災,但好篝火燃料來源包括易燃物,火種,幹燥的日誌。

使用諸如幹鬆針,幹樹葉,火絨草,木屑。你也可以用報紙(或任何紙),幹衣機的棉絮,或紙板。引火物,使用小塊木材,如樹枝和棒直徑不到1英寸厚(約拇指的厚度)。

幹燥或滋味的日誌將確保良好的燃燒。棧木的方式保證氧氣可以很容易地達到你的火焰。許多喜歡圓錐形帳篷或小木屋疊加設計。現在,使用熱源來創建一個火焰或火花,這適用於你的易燃物。一旦易燃物燃燒,應該點燃火柴,火柴應該最終點燃你的日誌。如果一切順利,你現在應該享受你的篝火。

頭腦風暴的例子databricks-dolly-15k

而不是做花生醬和果凍三明治,還有什麼我可以把花生醬的三明治嗎?給五個想法。

而不是果凍,試試以下的花生醬三明治:

1。蜂蜜

2。葡萄幹

3所示。蜜餞

4所示。香蕉

5。切蘋果

我們最初懷疑我們是否會得到10000個結果。但在夜間排行榜遊戲化,我們設法打破在一周內15000條結果。害怕吃到我們的生產力,我們關閉了比賽。

我們創建一個商業上可行的模型之旅

我們還希望能夠產生一個開源模型商業上使用。盡管databricks-dolly-15k被大大小於羊駝,多莉1.0的數據集訓練,生成的多莉2.0模型,基於EleutherAI的 pythia-12b後,表現出高質量的教學行為。事後看來,這並不奇怪。許多指令優化近幾個月公布的數據集包含合成數據,通常包含幻覺和事實錯誤。

databricks-dolly-15k,另一方麵,是由專業人士,是高質量的,包含長回答大多數任務。

你可以看到一些例子的多莉2.0可用於生成摘要和內容。基於我們最初的客戶反饋很明顯這些功能將整個企業的廣泛應用。

多莉2.0總結磚文檔

指令

響應

新DBSQL倉庫的默認配置是什麼?

輸入:

磚SQL Serverless支持Serverless計算。管理員可以創建serverless SQL倉庫(原SQL端點),使即時計算和由磚來管理。Serverless SQL倉庫在你的磚賬戶使用計算集群。與磚的SQL查詢使用它們就像你通常會與原customer-hosted SQL倉庫,現在稱之為經典SQL倉庫。磚從SQL端點SQL倉庫改名,因為在這個行業,端點是指一個遠程計算設備與網絡的連接,或雲服務的入口點。數據倉庫是一種數據管理係統,將來自多個源的當前和曆史數據存儲在一個商業友好的方式更容易的見解和報告。SQL倉庫準確地描述這個計算資源的完整功能。如果serverless SQL倉庫啟用您的帳戶,請注意以下幾點:新的SQL倉庫默認serverless當您創建UI。新的SQL倉庫不是serverless默認情況下,當您創建它們使用API,這要求您顯式地指定serverless。您還可以創建新的職業或經典SQL倉庫使用方法。 You can upgrade a pro or classic SQL warehouse to a serverless SQL warehouse or a classic SQL warehouse to a pro SQL warehouse. You can also downgrade from serverless to pro or classic. This feature only affects Databricks SQL. It does not affect how Databricks Runtime clusters work with notebooks and jobs in the Data Science & Engineering or Databricks Machine Learning workspace environments. Databricks Runtime clusters always run in the classic data plane in your AWS account. See Serverless quotas. If your account needs updated terms of use, workspace admins are prompted in the Databricks SQL UI. If your workspace has an AWS instance profile, you might need to update the trust relationship to support serverless compute, depending on how and when it was created.

默認情況下,當您創建一個新的DBSQL倉庫使用UI,它將是一個serverless SQL倉庫。然而,當創建相同的使用API,您必須顯式地指定它是SQL倉庫。

多莉2.0生成微博內容

指令

響應

給我寫一個關於多莉2.0的發布,我們的新LLM。

多莉2.0在這裏

我們升級LLM,使其更有效率,更強大,更容易獲得更廣泛的受眾。

了解更多⬇️

https://t.co/KxzT3HXCPb