釋出七個自由開源的 GPT 模型

矽谷人工智慧公司 Cerebras 發布了七個開放原始碼的 GPT 模型，以提供一個不受嚴格控制且專有的現有系統的替代方案。

位於矽谷的AI應用基礎設施公司Cerebras以高度寬鬆的Apache 2.0許可證，釋出了免授權費用的開源GPT模型，包括權重和訓練配方。

到某種程度上，這七個 GPT 模型是 Cerebras Andromeda AI 超級電腦的概念證明。

Cerebras 基礎設施讓他們的客戶（如Jasper AI Copywriter）能夠快速訓練自己的定制語言模型。

一篇關於硬體技術的 Cerebras 博客文章指出：

「我們使用名為 Andromeda 的 16x 組CS-2 Cerebras Wafer-Scale Cluster 進行了所有Cerebras-GPT模型的訓練。

該集群允許所有實驗快速完成，無需在GPU集群上進行傳統的分散式系統工程和模型平行調整。

更重要的是，它讓我們的研究人員能夠專注於ML的設計，而不是分散式系統。我們相信輕鬆訓練大型模型的能力是廣大社群的關鍵推動因素，因此我們通過Cerebras AI Model Studio在雲端提供了Cerebras Wafer-Scale Cluster。」

Cerebras GPT 模型與透明度

Cerebras 引用 AI 技術只集中在少數幾家公司手中的情況，因此創建了七個開源 GPT 模型。

OpenAI、Meta 和 Deepmind 對其系統的大量信息保持保密和嚴格控制，這限制了創新，其他人只能根據這三個企業所決定的方式來利用他們的數據。

對於人工智慧，閉源系統是否最適合創新？還是開源是未來的方向？

Cerebras 寫道：

「對於 LLMs 來說，成為一種開放且可存取的技術，我們認為擁有最先進的模型是非常重要的，而且這些模型在研究和商業應用中都應該是開放的、可重現的，而且不收版權費用。

出於此目的，我們使用最新的技術和開放資料集訓練了一系列的轉換器模型，我們稱之為 Cerebras-GPT。

這些模型是使用 Chinchilla 公式訓練的第一批 GPT 模型，並以 Apache 2.0 許可證發佈。」

因此，這七個模型已在Hugging Face和GitHub上發布，旨在通過開放AI技術的途徑，促進更多的研究。

這些模型是使用Cerebras的Andromeda AI超級電腦進行訓練的，這一過程只需要幾周的時間。

Cerebras-GPT 是完全開放透明的，不像 OpenAI（GPT-4）、DeepMind 和 Meta OPT 的最新 GPT 模型。

OpenAI和Deepmind Chinchilla不提供使用模型的許可證。Meta OPT只提供非商業性使用許可證。

OpenAI的GPT-4對於其訓練數據完全沒有透明度。他們使用了Common Crawl數據嗎？他們有對互聯網進行爬取並創建自己的數據集嗎？

OpenAI正在保持這些信息（和更多）的保密，與Cerebras-GPT方法形成鮮明對比，後者完全透明。

以下都是開放透明的：

• 模型架構
• 訓練資料
• 模型權重
• 檢查點
• 計算最佳訓練狀態（是）
• 使用許可：Apache 2.0 授權

七個版本分別有111M、256M、590M、1.3B、2.7B、6.7B和13B的型號。

已宣布：

「Cerebras 是 AI 硬體公司中首創的，他們的研究人員在 Andromeda AI 超級電腦上訓練了一系列七個 GPT 模型，分別使用了 111M、256M、590M、1.3B、2.7B、6.7B 和 13B 個參數。」

「通常這需要花費數個月的時間，但得益於構成 Andromeda 的 Cerebras CS-2 系統的驚人速度，以及 Cerebras 的權重流傳播架構能夠消除分散計算的痛苦，這項工作在幾個星期內就完成了。」

「這些結果表明，Cerebras 的系統能夠訓練現在最大且最複雜的 AI 工作量。」

「這是首次公開使用最先進的訓練效率技術訓練一組 GPT 模型。」

「這些模型在特定計算預算（即使用 Chinchilla 配方的訓練效率）下訓練到最高準確度，使其具有更低的訓練時間、更低的訓練成本和更低的能源消耗，優於任何現有的公開模型。」

開源人工智慧

Mozilla基金會，開源軟體Firefox的開發者，成立了一家名為Mozilla.ai的公司，致力於建立可信賴並尊重隱私的開源GPT和推薦系統。

最近，Databricks 還釋出了一個名為 Dolly 的開源GPT Clone，旨在使「ChatGPT 的魔力」變得平民化。

除了那七個 Cerebras 的 GPT 模型之外，另一家名為 Nomic AI 的公司，推出了 GPT4All，這是一個開源的 GPT，可以在筆記型電腦上運行。

開源人工智慧運動目前處於初期階段，但正在逐漸蓬勃發展。

GPT 技術正在改變各個行業，而開放原始碼的貢獻可能、也許無法避免地改變那些推動變革的行業的面貌。

如果開放原始碼運動以這樣的速度持續發展下去，我們可能就在目睹人工智慧創新在不再只集中在少數企業手中的轉變邊緣。

請閱讀官方公告：

Cerebras Systems正在發布七個在CS-2晶片級系統上訓練的全新GPT模型