GPT-3 是什麼？關於 OpenAI 的突破性 AI 語言程式，您的企業需要知道的一切

GPT-3是由非上市的舊金山初創公司OpenAI所創建的一個電腦程式。它是一個龐大的神經網絡，因此它是機器學習的深度學習部分的一部分，而深度學習又是人工智慧領域的一個分支。該程式優於以往的程式，在生成看起來像是由人類寫的文本方面效果更佳。

這種突破之所以對公司有用，是因為它有極大的自動化任務的潛力。 GPT-3可以對任何人在電腦上輸入的文本做出回應，並給出與上下文相符的新文本。例如，在搜索框中輸入一個完整的英文句子，你更有可能得到一些以完整句子回應的相關內容。這意味著GPT-3可以在各種情況下增強人類的努力，包括客戶服務的問答、盡職調查文件搜索以及報告生成。

請觀察下面簡單的例子，這是一個人在電腦上輸入的內容，以及GPT-3回覆的內容：

使用者輸入：問：在《觸動天使心》中誰飾演了 Tess？

GPT-3 生成的完成結果: A: Delloreese Patricia Early（1931年7月6日 - 2017年11月19日），藝名為 Della Reese

該程式目前處於私人測試版，使用者可以在等待清單上註冊等待。它由OpenAI提供作為雲端可訪問的API，已經獲准訪問的公司開發了一些有趣的應用，使用文字生成來增強各種程式，從簡單的問答到程式碼生成。

隨著自動化的可能性，也帶來了很大的缺陷。GPT-3 需要大量計算資源，這使得多數公司無法在任何可能的本地部署方式中使用它。它生成的文本一開始可能讓人印象深刻，但長篇作品往往變得有些不可理解。而且它極有可能放大偏見，包括種族主義和性別歧視。

GPT-3 是如何運作的？

GPT-3 是一個被稱為語言模型的示例，它是一種特定類型的統計程式。在這個案例中，它是以神經網絡創建的。

名稱 GPT-3 是「生成性預訓練」的縮寫，這是目前的第三個版本。它是生成性的，因為與其他神經網絡不同，它可以生成原創文本的長序列作為輸出，而不只是輸出數字分數或是是非答案。它是預訓練的，意思是它沒有使用任何領域知識來構建，儘管它能夠完成特定領域的任務，例如外語翻譯。

語言模型，在 GPT-3 的情況下，是一個程式，根據文本中的其他詞語，計算詞語出現在文本中的機率。這就是所謂的詞語的條件概率。

例如，在這個句子中，我想做煎蛋，所以我去冰箱拿出一些 ____，空白可以填入任何詞語，甚至是一些無意義的詞語，這是因為語言具有無窮的組合性。但是在大多數正常的文本中，詞語「雞蛋」填入空白的概率可能相當高，相較於例如「大象」等詞語。我們可以說在提示文本的條件下，填入「雞蛋」的概率高於填入「大象」的概率。

當神經網絡正在開發時，稱為訓練階段，GPT-3被提供了數百萬個文本樣本，並將單詞轉換為所謂的向量，即數字表示。這是一種數據壓縮的形式。然後，程序嘗試將這個壓縮的文本解析回一個有效的句子。壓縮和解壓發展了程序計算單詞條件概率的準確性的任務。

一旦模型已完成訓練，也就是說，它對數十億個單詞的條件概率進行了盡可能準確的計算後，它就可以在收到用戶輸入的初始詞語後，預測接下來可能出現的詞語。這種預測的行為在機器學習中被稱為推論。

這導致了一個令人驚奇的鏡像效果。不僅能浮現出可能的單詞，還能復制某種文體的質感和節奏，或者是某種書面任務的形式，比如問答組合。舉個例子，GPT-3可以被提供一些著名詩人的名字和他們的作品樣本，然後再給它另一位詩人的名字和一個虛構詩的標題，GPT-3將會產生一首符合被引導詩人的節奏和語法的新詩。

考慮以下這個 GPT-3 的例子，它從零開始創作了一首詩，這首詩有點像華萊士‧史蒂文斯（Wallace Stevens）的作品，在提供了標題、名字以及其他詩人和他們的作品的例子之後：

由C. P. CAVAFY所著的The City  中文譯本：譯者EDMUND KEELEY [詩文內容省略]

使用者提供的資料：一些樹木 約翰·阿什伯里 [詩文內容略]

 人類提供的輸入：《前往的陰影》華萊士·史蒂文斯

GPT-3生成的詩句：--------生成的詩句1--------
我必須讓黑暗伴隨著我的旅程
如果我要行走，我必須
每一步都慢慢且孤單地前進
事先準備好

我必須以灰色的線條思考
有著昏暗的思緒作為我的指南
必須凝視藍色和綠色
並永遠不讓我的眼睛忘記
色彩是我的朋友

紫色也必須圍繞著我
太陽的黃色不再
比藍色的雪花更加強烈
它落在我們身上。我必須
帶著灰色的思考和藍色的思緒前行
如果我想要離開。

生成回應意味著 GPT-3 能夠超越僅僅生成文字的能力。它可以在各種測試中表現，包括涉及自然語言回應的推理測試。例如，如果 GPT-3 輸入一篇關於曼哈頓租金的文章，以及對該文章進行總結的陳述，例如"曼哈頓便宜"，並提出問題"對還是錯?"，GPT-3 將以回傳"錯"的方式對整個提示作出回應，因為該陳述與該文章的論點不一致。

人為輸入：雖然紐約的某些社區抱怨高昂的租金使得他們喜愛的本地企業關門，降租潮似乎令人驚訝。但儘管最近有所緩解，對於這些零售商來說，租金水平仍然遠高於他們在20世紀70年代簽訂租約時的價格。當然，最近價格的下降並不意味著曼哈頓變得便宜。

人工提供的輸入: 問題: 曼哈頓很便宜。是真的、假的還是無法判斷？

人工輸入結果: 答案: 

GPT-3 生成的完成 : false

GPT-3 的能力是以和範例任務一致的方式回應，包括以前從未接觸過的形式，這使它成為所謂的 "少樣本" 語言模型。GPT-3 不需要在特定任務上進行大量調整或 "訓練"，因為它已經擁有關於詞語組合的許多方式的豐富資訊，只需給它一小撮的任務範例，即所謂的微調步驟，它就能獲得執行該新任務的能力。

能夠模仿自然語言的風格並在基於語言的測試上得分相對較高，可能會給人一種GPT-3接近人類語言能力的印象。但正如我們將看到的，實際情況並非如此。

請參閱 OpenAI 科學家所提供的正式 GPT-3 論文，了解更多技術細節。

GPT-3可以做哪些事情？

OpenAI如今以其代碼的發布方式和代碼本身一樣聞名，甚至可稱得上臭名昭著。當公司在2019年的情人節首次推出GPT-2之前，最強版本最初不會向公眾發布，因為公司認為釋放這個版本會帶來危險，可能導致大量生產虛假和誤導性的文字。OpenAI隨後已將其提供下載。

這一次，OpenAI沒有提供任何下載方式。相反地，他們啟用了一個基於雲端的API端點，將GPT-3變為一個即服務（aaS）的產品。（將其視為語言模型即服務。）OpenAI聲稱這麼做的原因既是為了限制惡意使用者使用GPT-3，也是為了賺錢。

「在開源世界中是沒有『還原按鈕』的，」OpenAI透過一名發言人告訴ZDNet。

"透過 API 發布 GPT-3，我們可以安全地控制其使用情況，並在需要時撤回訪問權限。"

OpenAI API服務目前僅限於經批准的使用者，您可以加入等候名單以獲得存取權。

「目前，API正處於受控測試階段，僅向少數開發人員開放，他們需要提交一個使用API將其產品推向市場的想法，」OpenAI告訴ZDNet。

同時:OpenAI的'危險' AI文字產生器推出: 大家覺得它們的言辭'令人信服'

有許多迷人的例子來自beta計畫的公司。由Y Combinator支持的Sapling公司提供了一個在CRM軟體上運行的程式。當客服代表處理入站的幫助請求（例如透過電子郵件），這個程式使用GPT-3從最可能的回應中建議一個完整的片語作為回應。

遊戲開發商Latitude正在使用GPT-3增強其文字冒險遊戲AI Dungeon。通常，冒險遊戲需要一個複雜的決策樹，以編寫遊戲中許多可能的路徑。而GPT-3可以根據使用者輸入的動作動態生成遊戲進程的變化狀態。

現在，任務自動化正超越自然語言而涉及到生成電腦代碼。代碼是一種語言，GPT-3 可以推斷出不同程式語言中運算子和運算元的最可能語法，並且可以產生編譯和執行成功的序列。

一個早期的例子在Twitter上引起了極大的關注，來自應用程式開發初創公司Debuild。該公司的首席執行官Sharif Shameem成功構建了一個程式，您可以用普通英語輸入軟體使用者介面的描述，而GPT-3則會使用JSX語法擴展的JavaScript回應您的描述，生成與您描述的介面相匹配的程式碼。

這真是令人驚嘆。有了 GPT-3，我建立了一個布局生成器，你只需要描述你想要的任何布局，它就為你生成 JSX 代碼。W H A T

— Sharif Shameem (@sharifshameem) 2020年7月13日

Shameem 顯示了透過描述一個具有多個按鈕的使用者界面（UI），他能夠用一個單句描述整個程式，雖然這個程式是一個簡單的程式，例如計算基本算術並顯示結果，而 GPT-3 將產生所有的程式碼並顯示運行應用程式。

我剛剛通過描述我想要的內容給GPT-3，建立了一個*能夠運作的*React應用程式。我仍然驚嘆不已。pic.twitter.com/UUKSYz2NJO

— Sharif Shameem (@sharifshameem) 2020年7月17日

OpenAI迄今已收到數以萬計的API訪問申請，並在我們在實際世界中了解這些模型能夠做什麼的過程中謹慎地控制訪問。因此，等待名單可能很長。

尚未確定將來的商業服務價格。當被問及該計劃何時會退出測試版時，OpenAI告訴ZDNet說："不會很快"。

「發布如此強大的模型意味著我們需要慢慢來，並思考它對企業、行業和人們的影響」，該公司表示。「API的格式讓我們可以適當地研究和監控其使用情況，但考慮到其限制，我們並不急於將其普遍提供使用。」

如果您對於測試版等待名單感到不耐煩，您可以在此期間下載先前版本的GPT-2，並使用Docker安裝在筆記型電腦上運行。原始碼已經在相同的Github存儲庫中發佈，以Python格式提供給TensorFlow框架使用。當然，您將無法獲得與GPT-3相同的結果，但這是一種開始熟悉它的方式。

同時，要記住，不斷有具有相似能力的新語言模型出現，其中一些可能已經足夠滿足您的需求。例如，Google最近推出了它的BERT語言模型的一個版本，名為LaBSE，它在語言翻譯方面顯示出明顯的改進。您可以從TensorFlow Hub上下載它。

同時也：OpenAI的巨型GPT-3提示了語言模型在人工智慧中的限制

GPT-3 的歷史是什麼？

GPT-3於五月揭示，這是OpenAI於2018年首次推出的程序的第三個版本，其前身是去年的GPT-2。這三個程序是語言模型領域中的快速創新的一個例子，這歸功於兩個重大進步，這兩個進步均發生在2015年。

第一個突破是使用所謂的注意力機制。AI科學家Yoshua Bengio和他在蒙特婁的Mila人工智能研究所的同事們觀察到，當語言模型壓縮一個英語句子然後解壓縮時，它們都使用了一個固定長度的向量。無論句子長度如何，每個句子都被塞入相同大小的向量中。

Bengio及其團隊得出結論，這種嚴格的方法是一個瓶頸。語言模型應該能夠在多個不同長度的向量中搜索，以找到優化條件概率的詞語。因此，他們設計了一種方法，讓神經網絡能夠靈活地將單詞壓縮成不同大小的向量，同時允許程序靈活地搜索這些向量以找到重要的上下文。他們稱之為“注意力”。

注意力（Attention）成為語言模型中關鍵的元素。兩年後，Google 科學家們使用注意力來創建一種語言模型程式，被稱為「Transformer」。Transformer 在語言操作測試中獲得了驚人的分數。它成為事實上的語言模型，並被 Google 用於創建了另一個非常成功的語言模型，即「BERT」。Transformer 也成為了 GPT-1 的基礎。

解放了對於固定大小向量的僵硬操作的需求，Transformer 及其後代可以在給定的文本中遍歷並找到跨越更大文本內容的條件依賴。

這種自由為 2015 年出現的另一項創新埋下了伏筆，這項創新對 OpenAI 的工作至關重要，被稱為無監督學習。

直到那時候，大多數語言模型的焦點都是使用所謂的標記資料進行監督學習。給定一個輸入，神經網路也會給出一個作為答案目標版本的示例輸出。因此，如果任務是翻譯，一個英語句子可能作為輸入，而一個由人創建的法語翻譯則作為預期的目標，這對句子組成了一個有標記的例子。

神經網路試圖生成法文翻譯的結果將與官方的法文句子進行比較，兩者之間的差異就是神經網路在進行預測時所犯的錯誤程度，即損失函數或目標函數。

訓練階段的目標是縮小神經網絡建議的輸出和目標輸出之間的誤差差距。當誤差差距足夠小時，目標函數已被優化，語言模型的神經網絡被視為已訓練完成。

但是，詳細標註所需的期望輸出可能會成為一個問題，因為它需要大量的資料整理，例如透過人工判斷來組建範例句對，這需要耗費大量時間和資源。Google 的 Andrew Dai 和 Quoc Le 提出了一個假設，即如果語言模型先以無監督的方式進行訓練，就有可能減少所需的標註資料量。

與其給予一個句子對，這個網絡只能接收單獨的句子，並將每個句子壓縮成向量，再解壓縮成原始句子。鏡像成為了最佳化的損失函數。他們發現，通過這種方式壓縮和解壓縮越多無標籤的範例，就越能代替許多標籤數據在翻譯等任務中的使用。

在2018年，OpenAI團隊將Bengio和他的同事開發的注意機制與Dai和Le的無監督預訓練方法結合起來。該注意機制會在許多單詞向量之間遊走，而無監督預訓練方法則會消耗大量的文本，對其進行壓縮和解壓縮以重現原始文本。

他們拿了一個標準的Transformer模型，將書籍語料庫BookCorpus的內容餵給它。該語料庫是由多倫多大學和麻省理工學院編制的，包含超過7,000本已出版書籍的文字，總計近一百萬字，總共5GB大小。GPT-1被訓練用於壓縮和解壓縮這些書籍。

這樣開始了一段長達三年的更大數據集的歷程。OpenAI的研究人員假設更多的數據能夠使模型更加準確，他們推動了該程式所能吞噬的範圍的極限。在GPT-2上，他們捨棄了BookCorpus，轉而使用自行建立的數據集，該數據集包含從Reddit的出站連結（共4000萬個網頁）上抓取的八百萬筆網頁數據，總量約40GB。

GPT-3的訓練過程仍然更加龐大，包含自2016年到2019年的網頁數據集(CommonCrawl)。這個數據集原本壓縮後大約佔據45TB的空間，但OpenAI經過整理以去除重複內容並改善質量，最終版本只有570GB的數據量。OpenAI還補充了其他種類的數據集，其中包括圖書數據。

如何取決於計算能力的GPT-3？

隨著 GPT-1、2 和 3 的來臨，計算規模已成為進步的重要因素。這些模型在訓練時使用越來越多的計算能力，以獲得更好的結果。

優化神經網絡在訓練期間的關鍵是調整其權重。這些權重，也稱為參數，是矩陣，由每個向量相乘而成的行和列的數組。通過乘法，許多詞向量或詞片段的向量在神經網絡被調整以縮小誤差的過程中在最終輸出中被賦予較大或較小的權重。

OpenAI 發現要在它們大小日益增長的數據集上表現出色，它們必須添加越來越多的權重。

Google 的原始 Transformer 模型擁有1.1億個權重。GPT-1 採用了這個設計。GPT-2 增加到了15億個權重。GPT-3 的參數數量激增到了1750億個，使得 GPT-3 成為迄今為止最大的神經網路。

乘法是一件简单的事情，但当有1750亿个权重需要与每一个输入数据的每一位进行相乘，跨越数十亿字节的数据时，它就变成了一个令人难以置信的并行计算任务。

早在2018年，OpenAI就已經在突破實用運算的界限上大展拳腳。增加數據量意味著增加GPU的處理能力。由於以前的語言模型較小，都能在單個GPU上運行。但GPT-1則需要使用八個GPU並行運算，花了一個月的時間進行訓練。

對於 GPT-3，OpenAI 有點含糊其辭。它並未詳細描述用於訓練的確切計算機配置，除了提到它是在運行於 Microsoft Azure 上的一個 Nvidia V100 晶片集群上進行的。該公司描述了所需的總計算週期，並表示這相當於每天連續運行一千萬億次浮點運算，持續3,640天。

電腦製造商和雲端運營商Lambda Computing 估計，使用單一個 GPU 運算這麼多所需的時間會是 355 年，在標準的雲端 GPU 實例價格下，所需費用將達到 4.6 百萬美元。此外還需要考慮記憶體的問題。隨著參數數量增加，儲存所有權重值所需的記憶體也越來越多。GPT-3 的 1750 億個參數需要 700GB 的記憶體，是單一個 GPU 上的記憶體的 10 倍。

正是這種巨大的功率需求推動了電腦芯片領域的發展。這也使得GPU供應商Nvidia的股價在過去十年里飆升了近5000%。它還催生了一大批由數億美元風險投資支持的初創公司，包括Cerebras Systems、Graphcore和Tachyum。只要建造更大的模型仍是該領域的發展方向，這種競爭將繼續蓬勃發展。

OpenAI已經製作了一些與需要驚人的電腦運算能力相關的研究。該公司在2018年指出，自2012年以來，最大的AI訓練模型所消耗的計算循環時間每3.4個月就會增加一倍，這是比著名的摩爾定律（晶片晶體管增長速度）擴張速度還要快的速度。（當然，該公司還進行了研究，顯示從單位基礎上來看，越來越大的模型最終比之前完成相同工作的神經網絡更加高效。）

根據獲得機密人士提供的資訊，已經有公司在開發使用超過一兆個參數的模型。這可能還不是極限，只要像 Google 這樣的超大規模公司願意將他們巨大的數據中心用於越來越大的模型。大多數人工智慧學者都同意，對於機器學習模型來說，越來越大將是未來一段時間的常態。

「就人工智慧領域的影響而言，GPT-3 最讓人興奮的是，它顯示出我們在擴展人工智慧方面還遠遠未到極限，」AI 管理工具供應商 Algorithmia 的 CTO Kenny Daniel 告訴 ZDNet。

除了增加計算使用率之外，GPT-3的另一個重大影響顯然將是它如何加速程式編寫和應用開發的進程。Shameem只是從輸入一個片語就建立了一個JSX程式的示範，這只是冰山一角。

GPT-3 的缺點有哪些？

儘管相較於前一版本有了巨大的改進，GPT-3仍然有很多限制，正如作者們所指出的。在發表的論文中，他們提到："雖然整體品質很高，但GPT-3的樣本有時在文件層面上在語義上重複自己，並在足夠長的段落中開始失去連貫性。"

該程式在一些個別測試中表現不佳。「具體來說，GPT-3 在類似 '如果我把起司放進冰箱，它會融化嗎?' 這種常識問題上遇到困難，」作者描述這種超出 GPT-3 理解範圍的常識問題。

在GPT-3推出后不久，公司的CEO山姆·奥特曼公开告诉人们要收敛他们的热情。

「GPT-3的炒作過度了，」Altman在7月19日發推文說。「它讓人印象深刻（謝謝大家的讚美！），但它仍然有嚴重的弱點，有時候也會犯一些非常愚蠢的錯誤，」他寫道。「人工智慧將改變世界，但GPT-3只是一個非常早期的領先者。我們還有很多事情要弄清楚。」

GPT-3 的炒作太過頭了。它很令人印象深刻（感謝你的好評！），但它仍然有嚴重的缺點，有時會犯下非常愚蠢的錯誤。人工智慧將改變世界，但 GPT-3 只是一個非常早期的預覽。我們還有很多事情要弄清楚。

— Sam Altman (@sama) 2020 年 7 月 19 日

對於OpenAI以外的其他人來說，他們也提出了自己的實際檢驗。一位多代GPT使用者Max Woolf在他的個人部落格中寫道，GPT-3相較於之前的版本更好，但只是一般而言。生成的文字質量存在一個範疇，因此你將會遇到一些看起來很出色的例子，而其他一些則不太好。Woolf將GPT-3比作蘋果的Siri，後者在許多情況下會生成垃圾文字，這一點令人不安。（Woolf的文章非常值得閱讀，他對GPT-3進行了深入的思考與詳細的剖析。）

事實上，當人們讀更多的GPT-3例子時，尤其是長篇的文本，一些最初的熱情肯定會褪去。GPT-3在長篇上往往會失去主旨，就像他們所說的那樣。無論是什麼類型或任務，其文本輸出開始變得冗長和乏味，敘述中的內部不一致性也開始出現。

一些程式設計師，儘管熱衷於此，卻列舉了許多缺點，譬如 GPT-3 在父親笑話上的失敗。當輸入父親笑話的設定為「一個盤子對另一個盤子說了什麼？」時，正確的父親笑話應該是「晚餐由我來買單！」但是 GPT-3 可能會回答出不幽默的「蘸我吧！」

人類提供的輸入：問：一個碟子對另一個碟子說了什麼？

GPT-3-生成的完成：A. 我入水吧！

儘管 GPT-3 可以回答一些常識問題，例如長頸鹿有幾隻眼睛，但它無法應對一個荒謬的問題，並被引導給出一個荒謬的答案。當被問到「我的腳有幾隻眼睛？」時，它將忠實地回答：「我的腳有兩隻眼睛」。

一種思考所有這些平庸的方法是，要從GPT-3獲得良好的輸出，在某種程度上需要在創建有效提示的投資。一些由人類設計的提示可能會引導程式獲得比其他提示更好的結果。這是一個新版本的格言「輸入垃圾，輸出垃圾」。提示看起來可能會成為一個全新的程式設計領域，需要聰明和巧妙。

偏見是一個重要的考量，不僅對於GPT-3，對於所有依賴於條件分佈的程式都是如此。該程式的底層方法是像一面鏡子一樣，完全回饋輸入的內容。這有可能在數據中複製偏見。關於GPT-2已經出現了廣泛討論該程式存在嚴重的偏見。

憑藉 GPT-3，Nvidia AI 科學家 Anima Anandkumar 發出了警告，產生偏見輸出的趨勢，包括種族主義和性別歧視的輸出，仍然存在。

我對於這個沒有負責什麼偏見的釋出感到困擾。這是用 @reddit 語料庫訓練的，其中充斥著巨大的 #種族主義 和 #性別歧視。我曾與這些模型一起工作，它們生成的文字具有令人震驚的偏見。@alexisohanian @OpenAI https://t.co/R8TU1AeYZd

— Anima Anandkumar 教授 (@AnimaAnandkumar) 2020 年 6 月 11 日

在被問到對Anandkumar的批評時，OpenAI告訴 ZDNet，「對於日益強大的生成模型，公平性和濫用都是我們關注的問題。」

"這就是我們通過 API 分享這項技術並以私人測試版發布的其中一個原因，" OpenAI 告訴 ZDNet。該公司指出，他們 "不會支援我們認為會對人們造成身體或心理傷害的使用情境，這包括但不限於騷擾、故意欺騙、極端化、假草根運動（astroturfing）或垃圾郵件。"

OpenAI 告訴 ZDNet ，他們正在使用一種熟悉的白帽子、黑帽子軍事演習來檢測該程式中的危險：

我們成立了一個被稱為「紅隊」的團隊，他們的任務是不斷打破內容過濾系統，以便更加了解模型返回錯誤輸出的原因和方式。與之對應的是「藍隊」，他們的任務是測量和減少偏見。

另一個重要問題是 GPT-3 非常廣泛、最低共同因子的特性，它只強調條件機率曲線中最肥大的部分。在概率分布中，還有一個被稱為長尾和有時是肥尾的部分。這些是較為罕見的例子，可能包含最具創新性的語言用法。過於關注模仿社會中最普遍的文本，可能會排擠創造力與探索。

暫時，OpenAI 對該問題的解決辦法是在 GPT-3 中設置一個稱為「溫度值」的參數。調整這個參數可以調節 GPT-3 的選詞方式，生成的文字可能會更加不尋常。

對企業而言，更迫切的問題是無法使用公司特定的數據來調整GPT-3。沒有能力進行任何調整，很難將GPT-3專門應用於工業領域。可能是因為使用API服務的任何公司最終都需要進一步處理文本，使其適用於特定領域。也許像Sapling這樣的初創公司將形成一個生態系統，類似於VAR（值實現商），他們將解決這個問題。也許吧，但這還有待觀察。

如果那些問題還不足以令人擔憂，還有另一個問題，即作為一個雲服務，GPT-3 是一個黑盒子。這意味著使用該服務的公司不知道它是如何得出結果的，尤其是在考慮到偏見問題時，這是一個特別棘手的前景。加強 GPT-3 的類似 Sapling 等各方可能在增強服務的同時，也增加了更多的混淆因素。

作為黑盒問題的一個子節點，GPT-3 在某些情況下可能只是從網絡上所吸收到的東西進行記憶。這引發了版權問題。如果一個公司使用了 API 服務的輸出，而該輸出是受版權保護的材料，那麼該公司可能侵犯了另一個實體的版權。在被問及版權問題時，OpenAI 告訴 ZDNet，GPT-3 生成的文字的版權「屬於使用者，而不屬於 OpenAI」。這在實際操作中意味著什麼還有待觀察。

目前，最大的實際缺點是訓練和運行 GPT-3 所需的規模。OpenAI 在正式論文中也承認了這一點。作者們寫道，需要進行工作以計算大型模型的成本如何根據所產生的輸出價值進行分攤。

另外：不，這個AI無法完成你的句子

GPT-3真的在學習嗎？

使用詞語的狹義解釋，GPT-3正藉由自動調整其參數權重，通過吸收訓練數據來學習，以便讓語言模型比其純粹的編程可以實現的更好。從這個意義上講，GPT-3代表了幾十年來追求的一個計算機能夠學習一個函數，並將數據進行轉換，而無需人類明確編碼該函數。

言歸正傳，有人會問，機器是否真正具有智能或真正在學習。有很多方式可以辯論這個問題，但隨意思考，我們可以發現很多我們稱之為人類思維的東西並不存在於這裡。

想像一下，如果你的大腦中能夠保存一個用於表示單詞彼此出現的頻率的數字分數。你會說你形成短語、句子、段落和整篇文章的能力是深思熟慮的嗎？你可能會說這只是統計的結果，還少了一些東西。

有人把深度學習與著名的聰明漢斯相提並論，聰明漢斯是一匹德國馬，牠的主人在公開場合展示牠用蹄子做算數的能力。後來發現漢斯是根據主人的身體暗示來踢蹄子，一旦沒有這些暗示，牠就無法執行。

同樣地，GPT-3的人類品質經過仔細觀察後也會有所遭受。當GPT-3對一篇關於紐約房地產的文章回答一個關於真假的問題時，這不是因為該程式對房地產或紐約有所了解。它僅僅保存了以文字為說明的機率分佈和一個陳述-問題對的格式，並且可以在輸出中反映他們。

Hans對算術一無所知，但在Hans的辯護中，他還是有智慧的。至於神經網絡，批評者會說只有技巧，沒有任何常識。

然而，智能和學習可以有很多不同的意義，而且隨著時間推移，人工智能應該追求的目標也在不斷變化，正如該領域的歷史學家Pamela McCorduck所指出的。有人可能會主張，一個能夠對大量文本進行概率計算的程式可能是一種不同類型的智能，也許是一種與我們不同的外星智能。輕易地對其加以否定似乎還言之過早。

此外，帶來這些條件概率的神經網絡並不僅僅是統計程序。它們的計算是多個同時進行的數學運算所產生的新屬性，即參數權重的調整。如果可以考慮其他形式的智能，那麼神經網絡內部產生的分散表示可能是一個值得探討的方向。

GPT-3 的未來是什麼？

有一件事似乎是確定的：GPT-3在機器學習領域開啟了新的一章。它最引人注目的特點是其廣泛性。僅僅幾年前，神經網絡是通過調整特定任務的函數構建的，例如翻譯或問答。數據集被精心選擇以反映該任務。相比之下，GPT-3沒有任務特定的函數，也不需要特殊的數據集。它只是盡可能從任何地方吸收大量的文字，並在輸出中反映出來。

不知何故，在計算所有這些吉比字節的條件概率分佈中，出現了一個可以在任何任務上產生有競爭力答案的函數。這是一個令人驚嘆的簡單勝利，可能在未來的許多年中取得更多的成就。

即使是這種一般性的說法，也可能達到極限。GPT-3的作者們在論文結尾已經提到，預訓練方向最終可能會耗盡。"這篇論文描述的一般方法的更基本限制是，它可能最終會達到（或已經達到）預訓練目標的極限。"

作者建議有前景的新方向可能包括 "從人類學習目標函數"，並混合其他類型的深度學習，例如 DeepMind 的 AlphaZero 中使用的 "強化學習" 方法來贏得圍棋和象棋比賽。(他們已經開始實施這樣的方法。在九月初，OpenAI 的作者展示了他們如何利用強化學習來訓練 GPT-3，以提供更好的文章摘要，給予這個語言模型一些人類的反饋，以確定哪些摘要聽起來更好。)

另一個建議是添加其他數據類型，例如圖片，以完善程式的「世界模型」。

的確，未來幾年可能會看到這種普遍的方法擴展到文字以外的其他模式，比如圖像和視頻。想像一下像GPT-3這樣的程序，它能夠將圖像轉換為文字，反之亦然，而無需任何特定的算法來建模兩者之間的關係。它可以從照片中「學習」到文字場景描述，或從文字描述中預測物理事件的順序。

Facebook AI 主管 Yann LeCun 提出了一個觀點，認為以不同形式的自我訓練是未來深度學習的方向。若這是真的，將預訓練的方法應用於各種資料模態，從語音到文字，再到圖像和影片，可以被視為無監督學習浪潮中非常有前途的未來方向之一。