ChatGPT 如何運作？

ChatGPT是最閃亮的新型人工智能工具之一，但自 2020 年以來，後台運行的算法實際上一直在為一系列應用程序和服務提供支持。因此，要了解 ChatGPT 的工作原理，我們需要從底層語言開始為其提供動力的發動機。

ChatGPT 中的 GPT 主要是 GPT-3，或生成式預訓練 Transformer 3，儘管 GPT-4 現在可供 ChatGPT Plus 訂閱者使用，並且可能很快就會變得更加廣泛。 GPT 模型由 OpenAI（ChatGPT 和圖像生成器 DALL·E 2 背後的公司）開發，但它們為從 Bing 的 AI 功能到 Jasper 和 Copy.ai 等編寫工具的一切提供支持。事實上，目前大多數可用的人工智能文本生成器都使用 GPT-3，並且下一步可能會提供 GPT-4。

ChatGPT 使 GPT-3 成為眾人矚目的焦點，因為它使與 AI 文本生成器的交互過程變得簡單，而且最重要的是，對每個人都是免費的。另外，它是一個聊天機器人，自從 SmarterChild 以來，人們就喜歡一個好的聊天機器人。

雖然 GPT-3 和 GPT-4 是目前最流行的大型語言模型 (LLM)，但在接下來的幾年裡，競爭可能會更加激烈。例如，谷歌擁有 Bard——其人工智能聊天機器人——由其自己的語言引擎 Pathways Language Model (PaLM 2) 提供支持。但就目前而言，OpenAI 的產品是事實上的行業標準。它只是人們最容易上手的工具。

那麼“ChatGPT 是如何工作的？”的答案基本上是：GPT-3 和 GPT-4。但讓我們更深入地挖掘一下。

什麼是 ChatGPT？

ChatGPT 是一款由 OpenAI 構建的應用程序。使用 GPT 語言模型，它可以回答您的問題、撰寫文案、起草電子郵件、進行對話、用不同的編程語言解釋代碼、將自然語言翻譯為代碼等等（或至少嘗試這樣做），所有這些都基於自然語言提示你餵牠。這是一個聊天機器人，但卻是一個非常非常好的聊天機器人。

比如說，如果您想寫一首關於您的寵物的莎士比亞十四行詩，或者想為一些營銷電子郵件的主題行提供一些想法，那麼嘗試一下很酷，但它對於 OpenAI 也有好處。這是一種從真實用戶那裡獲取大量數據的方法，並作為 GPT 強大功能的精彩演示，除非您深入研究機器學習，否則 GPT 可能會讓人感覺有點模糊。

目前，ChatGPT 提供兩種 GPT 模型。默認的 GPT-3.5 功能較弱，但可供所有人免費使用。更先進的 GPT-4 僅限於 ChatGPT Plus 訂閱者，即使他們每天也只能收到有限數量的問題。

ChatGPT 的一大功能是它可以記住您與之進行的對話。這意味著它可以從您之前詢問過的任何內容中收集上下文，然後使用它來通知與您的對話。您還可以要求返工和更正，它會引用您之前討論過的內容。它讓與人工智能的交互感覺就像是真正的來回交互。

如果您想真正體驗一下它，請立即花五分鐘玩一下 ChatGPT（它是免費的！），然後回來閱讀它是如何工作的。

ChatGPT 如何運作？

這個龐大的數據集被用來形成一個模仿人腦的深度學習神經網絡[ ... ] ，這使得 ChatGPT 能夠學習文本數據中的模式和關係[ ... ]預測任何給定句子中接下來應該出現的文本。

ChatGPT 的工作原理是嘗試理解您的提示，然後根據訓練的數據輸出它預測最能回答您問題的字符串。

讓我們實際談談這次培訓。在這個過程中，新生的人工智能被賦予了一些基本規則，然後它要么被置於情境中，要么被賦予大量數據來處理，以開發自己的算法。

GPT-3 接受了大約 5000 億個“標記”的訓練，這使得它的語言模型能夠更輕鬆地分配含義並預測看似合理的後續文本。許多單詞映射到單個標記，但較長或更複雜的單詞通常會分解為多個標記。平均而言，令牌長度約為四個字符。OpenAI 對 GPT-4 的內部工作原理保持沉默，但我們可以放心地假設它是在幾乎相同的數據集上進行訓練的，因為它更強大。

所有代幣都來自人類編寫的海量數據集。其中包括涵蓋所有不同主題、風格和流派的書籍、文章和其他文檔，以及從開放互聯網上抓取的數量驚人的內容。基本上，它被允許處理人類知識的總和。

這個龐大的數據集被用來形成一個深度學習神經網絡——一種模仿人腦的複雜、多層、加權算法——它使得 ChatGPT 能夠學習文本數據中的模式和關係，並利用創建類人數據的能力。通過預測任何給定句子中接下來應該出現的文本來做出響應。

但實際上，這大大低估了東西的價值。 ChatGPT 不適用於句子級別，相反，它會生成可能跟隨的單詞、句子甚至段落或節的文本。這不是你手機上的預測文本直接猜測下一個單詞；而是直接猜測下一個單詞。它試圖對任何提示創建完全連貫的響應。

為了進一步完善 ChatGPT 響應各種不同提示的能力，它使用一種稱為人類反饋強化學習 (RLHF) 的技術針對對話進行了優化。從本質上講，人類通過比較數據創建了一個獎勵模型（其中兩個或多個模型響應由人工智能培訓師進行排名），因此人工智能可以了解哪個是最佳響應。

回到它形成的神經網絡。基於所有這些訓練，GPT-3 的神經網絡擁有 1750 億個參數或變量，允許它接受輸入（您的提示），然後根據它賦予不同參數的值和權重（以及少量的隨機性） ），輸出它認為最符合您的請求的任何內容。 OpenAI 沒有透露 GPT-4 有多少參數，但可以肯定地猜測，它超過 1750 億個，比曾經傳聞的 100 萬億個參數要少。不管確切的數字是多少，參數越多並不意味著越好。 GPT-4 增強的能力部分可能來自於比 GPT-3 擁有更多的參數，但很大程度上可能歸功於其訓練方式的改進。

最後，最簡單的想像方式就像你小時候玩的“說完句子”遊戲之一。

最後，最簡單的想像方式就像你小時候玩的“說完句子”遊戲之一。例如，當我使用 GPT-3 向 ChatGPT 發出提示“Zapier 是……”時，它回复說：

“Zapier 是一款基於 Web 的自動化工具，允許用戶將不同的 Web 應用程序連接在一起，以便自動執行重複任務並改進工作流程。”

您可以在數百篇描述 Zapier 所做工作的文章中找到這種句子，因此它在這裡吐出這樣的內容是有道理的。但當我的編輯給出同樣的提示時，它說：

“Zapier 是一款基於 Web 的自動化工具，允許用戶連接不同的 Web 應用程序並自動化它們之間的工作流程。”

這非常相似，但並不完全相同。這種隨機性（您可以在某些 GPT-3 應用程序中使用名為“溫度”的設置進行控制）確保 ChatGPT 不僅僅以相當於庫存答案的方式響應每個響應。它每次都會在整個神經網絡中運行每個提示，並到處擲骰子以保持新鮮感。它不太可能開始聲稱 Zapier 是來自火星的顏色，但它會根據以下單詞的相對可能性來混合它們。

（就其價值而言，當在 GPT-4 上運行時，ChatGPT 表示：“ Zapier 是一個基於 Web 的自動化工具，允許用戶在各種在線應用程序和服務之間集成和自動化任務。”幾乎相同！）

吐出的是言語，不是知識

ChatGPT 的製造者首先表示它可能會產生不正確（並且可能有害）的信息，儘管他們正在努力修復它。

這是一個簡單的例子。當我要求 ChatGPT 使用 GPT-3 和 GPT-4 回复“Harry Guinness 是……”時，GPT-3 首先回答是詢問哪個 Harry Guinness。好問題——我們實際上有兩個人！所以我說，“作家哈利·吉尼斯”（就是我）。 GPT-4 立刻猜出了我是誰，儘管這兩個回答都很有趣：

GPT-3： Harry Guinness 是愛爾蘭的自由作家和記者。他曾為多種出版物撰稿，包括《紐約時報》、《衛報》、《赫芬頓郵報》和《大眾機械》。他的主題涵蓋從技術和攝影到旅行和文化。

GPT-4： 哈里·吉尼斯 (Harry Guinness) 是一位愛爾蘭作家、攝影師和技術專家。他曾為多種出版物撰寫文章，包括 How-To Geek、Lifehacker 和 Tuts+。他的工作主要側重於技術、教程和技巧，以及攝影和圖像編輯。吉尼斯因創建詳細指南而享有盛譽，這些指南可以幫助讀者理解複雜的主題或以簡單的方式解決問題。

GPT-3 的第一行和最後一行幾乎是從我的各個網站和網絡上的作者簡介中逐字提取的（儘管我通常將自己列為自由作家和攝影師，而不是記者）。但出版物的清單基本上都是編出來的。我曾為《紐約時報》撰稿，但沒有為《衛報》、 《赫芬頓郵報》或《大眾機械》撰稿（我確實定期為《大眾科學》撰稿，所以這可能就是來源）。

GPT-4 正確地描述了攝影師的部分，並實際上列出了我為之撰寫的一些出版物，這令人印象深刻，儘管它們不是我最引以為豪的出版物。這是 OpenAI 如何提高 GPT-4 相對於 GPT-3 的準確性的一個很好的例子，儘管它可能並不總是提供最正確的答案。

但讓我們回到 GPT-3，因為它的錯誤提供了一個有趣的例子，說明 ChatGPT 幕後發生的事情。它實際上對我一無所知。它甚至不是從互聯網複製/粘貼並信任信息來源。相反，它只是根據其擁有的數十億個數據點來預測接下來出現的一串單詞。

例如： 《紐約時報》經常與《衛報》和《赫芬頓郵報》歸為一類，而不是與我為之撰寫文章的地方（例如《連線》 、 《Outside 》、 《愛爾蘭時報》 ，當然還有 Zapier）歸為一類。因此，當它必須確定《紐約時報》應該跟進什麼時，它不會從已發布的有關我的信息中提取信息；而是從我的信息中獲取信息。它從擁有的所有訓練數據中提取大型出版物的列表。這很聰明，看起來也很有道理，但事實並非如此。

GPT-4 做得更好，並且釘住了出版物，但它所說的其餘內容實際上只是感覺像是看似合理的後續句子。我不認為它對我的聲譽有任何高度的讚賞：它只是說了一些簡歷所說的事情。儘管它實際上使用了大致相同的技術，但它在隱藏其工作原理方面比 GPT-3 更好。

儘管如此，GPT 的改進還是令人印象深刻。目前，GPT-4 被鎖定在高級訂閱之後，因此您看到的大多數 ChatGPT 內容將依賴於 GPT-3，但這種情況可能會在接下來的一段時間內發生變化。誰知道 GPT-5 會帶來什麼。

ChatGPT API 是什麼？

OpenAI 對其技術並不抱有“唯我獨尊”的態度。該公司擁有一個 API 平台，允許開發人員將 ChatGPT 的強大功能集成到他們自己的應用程序和服務中（當然是有代價的）。

Zapier 使用 ChatGPT API 來支持其自己的 ChatGPT 集成，這使您可以將 ChatGPT 連接到數千個其他應用程序，並將 AI 添加到您的關鍵業務工作流程中。以下是一些入門示例，但您基本上可以從任何應用程序觸發 ChatGPT。

您還可以通過 Zapier 的 OpenAI 集成來利用 OpenAI 的其他模型（例如 DALL·E 和 Whisper）。直接從您已經使用的應用程序自動化涉及圖像生成和音頻轉錄的工作流程。

相關閱讀：如何（以及何時不應該）使用 ChatGPT 撰寫營銷文案