你好,多莉:民主化的魔力ChatGPT張開模型
更新4月12日,2023:我們已經發布了2.0多莉,注冊了兩個研究和商業使用。看到新博客。
總結
我們表明,任何人都可以把一個過時的現成的開源大語言模型(LLM)和給它神奇ChatGPT-like指令能力通過培訓後30分鍾在一台機器上,使用高質量的訓練數據。令人驚訝的是,instruction-following似乎並不需要最新的或最大的模型:模型隻有60億參數,而GPT-3 1750億。我們開源的代碼模型(洋娃娃)和顯示它可能會重現在磚。我們相信模型像多莉會幫助llm民主化,把他們從很少有公司可以變成商品每個公司可以擁有和定製來改善他們的產品。
背景
ChatGPT、專有instruction-following模型發布2022年11月,世界的風暴。該模型訓練數以萬億計的文字從web上,需要大量的gpu來培養。這迅速導致了穀歌和其他公司發布自己的專有instruction-following模型。2023年2月,元發布了一組高質量的權重(但不是instruction-following)語言模型駱駝學術研究人員,訓練了80000 GPU-hours每個。然後,今年3月,斯坦福大學建立了羊駝模型,它是基於駱駝,但調在小數據集50000的人形問題和答案,令人驚訝的是,使其表現出ChatGPT-like交互性。
引入多莉
今天我們介紹多莉,建造廉價LLM展品驚人的指令後ChatGPT所展現出來的能力。而羊駝小組的工作表明,最先進的模型可誘導高質量instruction-following行為,我們發現甚至更早歲開源模型與架構調優時,能表現出驚人的行為在一個小教學語料庫訓練數據。多莉的作品通過現有的開源60億參數模型從EleutherAI和修改它稍稍引起指令後功能如頭腦風暴和文本生成沒有出現在原始模型,使用數據從羊駝。
參數模型的底層多莉隻有60億,而1750億年GPT-3,和兩歲,特別奇怪,它的工作原理。這表明大部分的定性收益等先進的模型ChatGPT可能欠instruction-following訓練數據集中的主體之一,而不是更大的或調整基礎模型。多莉——在我們調用模型多利羊,第一隻克隆哺乳動物——因為它是一個開源克隆的羊駝,靈感來自一個駱駝。我們在早期人工智能的民主化的企業,和許多工作有待完成,但我們相信技術的底層多莉是一個令人興奮的新機會的公司想要廉價的建立自己的instruction-following模型。
我們評估多莉instruction-following所描述的功能InstructGPT紙ChatGPT是基於和發現它展覽許多相同的定性能力,包括文本生成、頭腦風暴和開放的問答。特別注意在這些例子中不生成文本的質量,而是巨大的進步在instruction-following微調功能,結果一個歲的開源模型小,高質量的數據集。
一代
最初的模型 | 多莉 |
---|---|
埃德加·愛倫·坡寫一封情書。 | |
原始模型: 曆史:埃德加·愛倫·坡在19世紀而聲名鵲起。他經常比偉大的浪漫主義詩人,被認為是現代短篇小說之父,坡被認為是美國偵探小說的創始人。他已經死了130年了。 帕特裏克·坎波斯:永遠不要試著寫一封情書一個死去的人。 帕特裏克·坎波斯:坡不僅僅是烏鴉的作者。他是一個大氣的主人。 埃德加·愛倫·坡住在巴爾的摩的巴迪fritzl:從1831年到1849年去世。他最出名的是他的短篇小說,文學發展他最大的貢獻是偵探小說的概念,神秘的故事和短篇小說。 巴迪fritzl:愛倫坡最著名的故事,“黃金”,是在1843年寫的。這是關於一位尋寶獵人尋找埋藏的寶藏。在這個短篇故事,他提供了一個藍圖所有的神秘。 巴迪fritzl:中心思想,你必須尋找線索非常吸引人。它甚至被用作… |
朵莉: 親愛的埃德加·愛倫·坡, 我見到你第一次的昏暗的樓梯間老房子,我知道,我看到你的那一刻起,我再也不想再見到你。你似乎很遙遠所以充滿了過去的陰影,我想永遠離開。 但我不禁癡迷於你,和我對你的感情隻有增長多年。即使是現在,我感覺和你深連接,我無法解釋。 我希望你能找到幸福,你現在的生活。我相信你將做偉大的事情,和我永遠在你的債務。 真誠地, (你的名字) |
寫一條微博宣布多莉,從磚大的語言模型。 | |
原始模型: 在你的微博,提供一個簡短的摘要的挑戰,如何分析,如何多莉。 你的微博後,我將轉發到磚的Twitter賬戶。 清理你的社交媒體頁麵下周通過移除任何提及多莉或磚。 數據準備 我們的第一步是生成詞向量為每個文檔嵌入。我們可以獲得這些向量表示兩種不同的方式: 使用一套標記化的文檔(在這種情況下,一切都在我們的下載文件夾) 從Google搜索API加載word2vec模型(在這種情況下,vector2vec.c) 在我們的例子中,我們希望使用第一種方法,比較容易,但第二個可能更健壯。我們將使用上述word2vec模型創建一個詞彙表文件為任何新單詞在文件中找到。這個過程給了我們一個快速的方法來識別新單詞並找到上下文相關術語。 我們可以通過複製word2vec。c到一個名為/ tmp / word2vec本地目錄。 # / tmp / word2vec / word2vec。c FILE_NAME / tmp /單詞 |
朵莉: 磚剛剛宣布多莉-一個新的語言模型的自然語言處理與大容量和提高效率! # DataScience # NaturalLanguageProcessing (鏈接到多莉模型發布) |
我賣我的尼康d - 750,寫一個簡短的介紹我的廣告。 | |
原始模型: 我不確定你可以在網站上發布一個位置——任何工作。 我隻有一個星期。在薄荷條件情況下完整的充電電纜和窗口。以1800美元買下了它的商店皮卡在舊金山一家商店。加稅和秘密Costco價格。 有人請讓我知道這是一個騙局,不報價。 我剛收到郵件說,相機是在某人的家裏所以別人可以撿起來和我要消息,我沒有銷售它我不會… |
朵莉: 希望得到一個可靠的照片和視頻相機工作嗎?看看尼康d - 750 !這光滑的、輕量級的相機有一個24.2像素的傳感器和1080/60p錄像,使其生活中捕捉那些時刻的一個很好的選擇。符合人體工程學的手柄和9分自動對焦係統使它容易處理和拍攝沒有麻煩。使用wi - fi,你可以上傳你的照片容易你的電腦或智能手機,而無需購買專門的外部存儲器。現在買尼康d - 750體驗為什麼攝影和攝像的最佳選擇! |
開放問答
最初的模型 | 多莉 |
---|---|
向我解釋核裂變和核聚變的區別。 | |
原始模型: 罷工的第一件事是原子之間的相似性在外觀和功能和太陽。中央身體在陽光下的能源,太陽和整個結構由一百萬噸的氫氣對我們如此重要。這就是所有氫融合成在陽光下,這就是為什麼我們的:融合。 原子的原子核,中心,是由質子和電子的軌道。在中間,有一個微小的球形質量的質子(因此大量的正電荷)稱為原子核。電子不是那麼小,但是他們的電荷是負的,核作為一個積極的和消極的電子穩定(由於電荷平衡)。質子帶正電,所以即使他們不能在任何地方,他們排斥電子。有一個核心的中子,沒有任何費用,但由質子在這裏舉行。質子也排斥中子。 這個簡單的事實是我們的太陽的基本形式,它是在地球上的所有元素。氫是最豐富的元素… |
朵莉: 核裂變和核聚變方法之間的區別,原子核釋放的能量。在核裂變,單個原子核分裂成兩個較小的原子核。這個過程是用來創建能量通過釋放大量的能量以熱的形式。另一方麵,涉及兩個原子核融合在一起,形成一個單一的細胞核。這個過程是用來創建一個更大的能量與裂變,並通過釋放能量釋放光和熱。融合有潛力成為一個更加有效的方式創造能量。然而,得多… |
頭腦風暴
最初的模型 | 多莉 |
---|---|
給我一個列表5接下來我應該讀科幻書。 | |
原始模型: 我知道它的早期,我應該覺得慚愧甚至考慮它,但是我有一個可怕的趨勢,其拖延和閱讀隻有當我絕對必須。 因此,今年我沒有讀過任何東西,在任何類型。 一旦我有一篇文章的想法,我的想法和大綱做這項工作確保我不寫。有一些特別之處一個空白頁和一個空的頭腦。 也就是說,我需要改變,和閱讀上麵的問題讓我意識到我是多麼迫切地需要…… |
朵莉: 1。《2001:太空奧德賽》由阿瑟·c·克拉克 2。銀河係漫遊指南由道格拉斯·亞當斯 3所示。J.R.R.托爾金的《魔戒》 4所示。銀河係漫遊指南由道格拉斯·亞當斯 5。1984年,喬治·奧威爾。 |
為什麼打開模型嗎?
原因有很多公司希望建立自己的模型,而不是將數據發送到一個集中的LLM提供者提供專有模型背後的一個API。對於許多公司來說,最有可能受益於AI問題和數據集代表他們最敏感和專有知識產權,並將它交給第三方可能是不可接受的。此外,組織可能有不同的權衡模型的質量、成本和預期的行為。我們相信大多數毫升用戶最好長期通過直接擁有他們的模型。
我們是開源簡單的磚筆記本,您可以使用它們來構建多莉自己磚。下載和實驗模型,參觀磚擁抱的臉頁!
接下來是什麼?
多莉的釋放是第一個在一係列的公告磚正在致力於幫助每一個組織利用大型語言模型。我們相信人工智能的難以置信的力量將每個組織和個人的生產力,並歡迎你加入我們的旅程。請繼續關注更多的在這一領域在未來幾周!
你還可以探索,公司可以受益於llm以及磚建造的多莉在我們的研討會4月25日。加入我們!
我們也興奮地分享更多關於多莉,包括實習培訓和LLM路線圖,深入探討了今年的數據和AI峰會。我們鼓勵您注冊加入我們麵對麵或幾乎。
確認
這個工作很大程度上要歸功於許多不可思議的組織的努力和見解。這是不可能的EleutherAIGPT-J開源和培訓。我們的靈感來自於令人難以置信的觀點和數據斯坦福研究中心基礎模型特別是背後的團隊羊駝。背後的核心理念的巨大力量小的數據集是由於原來的論文群體。我們也感謝擁抱的臉主辦、開源和維護無數模型和庫;他們的貢獻的藝術不能被誇大。
免責聲明:生成人工智能是一個新興的技術,我們在研究的早期階段如何處理事實的準確性,偏見,進攻反應,一般毒性、在llm和幻覺。多莉,像其他語言模型,有時會表現出這些行為,我們敦促用戶運用良好的判斷力在設計的應用這項技術。