在這段時間，有關大語言模型的消息頻頻傳出，許多人也逐漸了解、甚至開始應用起相關的AI軟件 。那么，你了解GPT模型的原理是什么嗎？大模型和傳統(tǒng)AI的區(qū)別在于哪里？其應用可以體現(xiàn)于哪些方面？一起來看看作者的分析和解讀 。

文章插圖
“如何充分發(fā)揮ChatGPT潛能，成為了眾多企業(yè)關注的焦點 。但是，這種變化對員工來說未必是好事情 。IBM計劃用AI替代7800個工作崗位，游戲公司使用MidJourney削減原畫師人數……此類新聞屢見不鮮 。理解并應用這項新技術，對于職場人來說重要性與日俱增 ?！?br />  
一、GPT模型原理理解原理是有效應用的第一步 。ChatGPT是基于GPT模型的AI聊天產品，后文均簡稱為GPT 。
從技術上看，GPT是一種基于Transformer架構的大語言模型（LLM） 。GPT這個名字 ， 實際上是”Generative Pre-trained Transformer”的縮寫，中文意為“生成式預訓練變換器” 。
 
1. 大模型和傳統(tǒng)AI的區(qū)別是什么？傳統(tǒng)AI模型針對特定目標訓練，因此只能處理特定問題 。例如，很會下棋的AlphaGO 。
而自然語言處理（NLP）試圖更進一步，解決用戶更為通用的問題 ?？梢苑譃閮蓚€關鍵步驟：自然語言理解（NLU）和自然語言生成（NLG） 。

文章插圖
以SIRI為代表的人工智能助手統(tǒng)一了NLU層，用一個模型理解用戶的需求，然后將需求分配給特定的AI模型進行處理，實現(xiàn)NLG并向用戶反饋 。然而，這種模式存在顯著缺點 。如微軟官方圖例所示，和傳統(tǒng)AI一樣 ， 用戶每遇到一個新的場景，都需要訓練一個相應的模型，費用高昂且發(fā)展緩慢，NLG層亟需改變 。

文章插圖
大型語言模型（如GPT）采用了一種截然不同的策略，實現(xiàn)了NLG層的統(tǒng)一 。秉持著“大力出奇跡”的理念，將海量知識融入到一個統(tǒng)一的模型中，而不針對每個特定任務分別訓練模型，使AI解決多類型問題的能力大大加強 。

文章插圖
 
2. ChatGPT如何實現(xiàn)NLG？AI本質上就是個逆概率問題 。GPT的自然語言生成實際上是一個基于概率的“文字接龍”游戲 。我們可以將GPT模型簡化為一個擁有千億參數的“函數” 。當用戶輸入“提示詞（prompt）”時，模型按照以下步驟執(zhí)行：

1. 將用戶的“提示詞”轉換為token（準確地說是“符號”，近似為“詞匯”，下同）+token的位置 。
2. 將以上信息“向量化”，作為大模型“函數”的輸入參數 。
3. 大模型根據處理好的參數進行概率猜測，預測最適合回復用戶的詞匯，并進行回復 。
4. 將回復的詞匯（token）加入到輸入參數中，重復上述步驟，直到最高概率的詞匯是【END】 ， 從而實現(xiàn)一次完整的回答 。

這種方法使得GPT模型能夠根據用戶的提示，生成連貫、合理的回復，從而實現(xiàn)自然語言處理任務 。

文章插圖
 
3. 上下文理解的關鍵技術GPT不僅能理解用戶當前的問題 ， 還能基于前文理解問題背景 。這得益于Transformer架構中的“自注意力機制（Self-attention）” 。該機制使得GPT能夠捕捉長文本中的依賴關系 。
通俗地說 ， GPT在進行文字接龍判斷時 ， 不僅基于用戶剛輸入的“提示”，還會將之前多輪對話中的“提示”和“回復”作為輸入參數 。然而 ， 這個距離長度是有限的 。對于GPT-3.5來說 ， 其距離限制為4096個詞匯（tokens）；而對于GPT-4，這個距離已經大幅擴展至3.2萬個tokens 。
 
4. 大模型為何驚艷？我們已經介紹了GPT的原理 ， 那么他是如何達成這種神奇效果的呢？主要分三步：

1. 自監(jiān)督學習：利用海量的文本進行自學，讓GPT具備預測上下文概率的基本能力 。
2. 監(jiān)督學習：人類參與，幫助GPT理解人類喜好和期望的答案，本質為微調（fine-tune） 。
3. 強化學習：根據用戶使用時的反饋 ， 持續(xù)優(yōu)化和改進回答質量 。

其中，自監(jiān)督學習最關鍵 。因為，大模型的魅力在于其“大”——大在兩個方面：：

1. 訓練數據量大：即訓練大模型的數據規(guī)模，以GPT-3為例，其訓練數據源為互聯(lián)網的各種精選信息以及經典書籍，規(guī)模達到了45TB，相當于閱讀了一億本書 。
2. 模型參數量大：參數是神經網絡中的一個術語，用于捕捉數據中的規(guī)律和特征 。通常 ， 宣稱擁有百億、千億級別參數的大型模型，指的都是其參數量 。

追求大型模型的參數量是為了利用其神奇的“涌現(xiàn)能力”，實現(xiàn)所謂的“量變引起質變” 。
舉例來說，如果要求大模型根據emoji猜電影名稱 ， 如????????代表《海底總動員》 ?？梢钥吹?，當模型參數達到千億級別時，匹配準確度大幅度提升 。這表明模型參數量的增加對提高模型表現(xiàn)具有重要意義 。

文章插圖
處理其他多類型任務時，也有類似的效果：

文章插圖
如實驗所揭示的，只有當模型參數達到千億級別，大模型的優(yōu)勢才得以凸顯 。GPT之外的其他大模型，也有類似的表現(xiàn) 。
為什么？
目前主流觀點認為，要完整完成一個任務，實際上需要經過很多子步驟 。當模型大小不足時 ， 大語言模型無法理解或執(zhí)行所有步驟，導致最終結果不正確，達到千億級參數時，其解決問題的全鏈路能力已經足夠 。人們以最終結果的正誤作為評判標準 ， 導致認為是一種“涌現(xiàn)” 。
在“涌現(xiàn)”問題上，人與猩猩的比喻很有趣 。人類的大腦容量比猩猩大3倍，這種差異使得人類能夠進行更復雜的思考、溝通和創(chuàng)造 。兩者的結構沒有顯著差異，這不也是“涌現(xiàn)”嗎？
GPT-3.5正是千億模型，參數達到了1750億 。相較于GPT-3，GPT-3.5主要針對模型參數進行了微調，使其在問答時更符合人類的習慣 。據悉，GPT-4的模型參數量甚至達到了GPT-3.5的五倍之多 ， 這也解釋了為何GPT-4表現(xiàn)得如此聰明（體驗過的人應該都能理解） 。下面是GPT模型演進歷史：

文章插圖
 
二、GPT的局限性綜上，GPT模型具有明顯的、突破性的優(yōu)勢 。典型的優(yōu)勢包括：①強大的語言理解能力；②極為廣泛的知識儲備；③學習能力與推理能力等等 。這些能力讓人們感覺人工智能真正擁有了“腦子”，想象著使用GPT解決一切問題 。
然而，若真的要深入應用該技術，有必要了解其局限性，以便在實際應用中取長補短 。主要總結六大局限：
 
1. 邏輯不透明GPT模型的回答本質上是概率 。傳統(tǒng)的軟件開發(fā)中，接口的輸入和輸出參數都是確定的，而在給定輸入參數（即提示詞）的情況下 ， GPT的回復卻有一定隨機性 。
當大家將ChatGPT作為聊天工具使用時，這種不精確可以是用戶的談資；當涉及到商業(yè)化軟件應用時，設計時就需要特別注意降低不確定性 ， 在大部分產品場景下，用戶都很重視確定性 。
 
2. 短期記憶差得益于自注意力機制 ， ChatGPT具備了多輪對話能力 。然而，它的記憶長度相當有限，GPT-3.5模型僅支持向前追溯4096個tokens用于回復的參考 。
更糟糕的是，這4096個tokens還包括ChatGPT之前回復用戶的部分！這使得其捉襟見肘的記憶更加難堪，堪稱電子金魚 。好在GPT-4已經將上下文token上限擴展至3.2萬個，一定程度上緩解了這個問題 。

文章插圖
 
3. 資源消耗多ChatGPT的智能需要消耗大量算力，而運行大規(guī)模高端顯卡需要消耗大量電力 。在五年之內，依靠半導體制程的進一步升級和大模型的廣泛應用，算力與電力的邊際成本將逐漸轉變?yōu)楣潭ǔ杀荆簿徒鉀Q了本問題 。
 
4. 響應速度慢由于模型極大，GPT在回復時也無法做到瞬時響應，正如用戶實際體驗，ChatGPT是逐詞回復的 。企業(yè)在設計相關產品時需要特別關注應用場景：

1. 需要避免將GPT用于高并發(fā)的場景，本服務依賴的接口調用并發(fā)上限非常低 。
2. 產品設計上避免用戶急切需要結果的應用場景，確保用戶能夠“等得起” 。

 
5. 行業(yè)認知淺誠然 ， ChatGPT擁有來自互聯(lián)網和經典書籍的豐富知識 。然而，真正的企業(yè)級專業(yè)知識往往源于特定領域的深入研究和實踐，這些真知灼見無法僅憑互聯(lián)網上的知識獲取 。因此，若希望GPT充當企業(yè)參謀，只能幫助梳理戰(zhàn)略框架，但難以為企業(yè)提供頗具洞察的策略建議 。
 
6. 價值未對齊

1. 在自監(jiān)督學習階段，GPT訓練數據英文占比高達92% 。
2. 在監(jiān)督學習階段 ， 傳授道德觀的工程師主要來自英語世界 。
3. 在強化學習環(huán)節(jié)，也可能受到惡意用戶輸入錯誤價值觀的影響 。

因此，GPT的“精神內核”是以西方價值觀為基石的，這可能導致生成的文字難以符合我國的文化背景和價值觀 。
 
三、GPT的多層應用指南在深入了解GPT模型的原理、及局限性之后，終于可以看看怎么用好這項技術了 。我按照感知其能力的直觀性，由淺入深將其分為五層，逐層進行介紹 。

文章插圖
 
第一層：聊天能力在此類用法中，GPT的回答就是給客戶的交付物，是GPT模型最簡單、最直觀的用法 。
1）套殼聊天機器人
通過使用OpenAI官方接口，開發(fā)的套殼聊天機器人產品 。這類產品之所以存在 ， 原因懂得都懂 。否則，用戶為何不直接使用ChatGPT呢？此類產品難以形成現(xiàn)象級應用，且競爭激烈 。由于比較灰色且內容未經過濾，網站被封后又換域名的故事將持續(xù)上演 。
2）場景化問答
這種模式對GPT的回復場景進行了約束 。通過限定提示詞、嵌入大量特定領域知識以及微調技術 ， 使GPT能夠僅基于某類身份回答特定類型的問題 。對于其他類型的問題，機器人會告知用戶不了解相關內容 。
這種用法可以有效約束用戶的輸入 ， 降低許多不必要的風險 ， 但是想訓練一個出色的場景化機器人，也需要投入許多精力 。典型應用包括智能客服、智能心理咨詢和法律咨詢等 。微軟的new Bing正是此類應用的杰出代表，其俏皮傲嬌的回復風格，深受網友的喜愛 。
 
第二層：語言能力在本層，我們充分發(fā)揮ChatGPT的語言天賦 ， 輔助各種基于文字的處理工作 。從這一層開始 ， 需要使用one-shot或few-shot（在提示詞中給ChatGPT一個或多個示例）來提升ChatGPT的表現(xiàn) 。與用戶的交互不再局限于聊天窗口，提前預制提示詞模板，用戶只能輸入限定的信息 ， 對應提示詞的空槽位 。

文章插圖
預制帶槽位提示詞模板的應用基本流程如下：
1）文字處理類
此類應用主要有三種用法：
① 文章提煉
可以輸入文章段落，要求提取段落主旨 。但受token數限制 ， 難以總結整篇文章 。也可要求生成短標題、副標題等 。在提示詞中預留【案例】槽位 ， 讓用戶輸入一些參考案例，GPT便可以學習相應的風格，進行針對性的輸出 。
② 潤色/改寫
可用于文章的初步潤色，能夠消除錯別字、錯誤標點等 。
改寫則可以轉換文章風格，如更改成小紅書風格等 。
③ 文章擴寫
在有大綱基礎上 ， 分段進行文章擴寫 。受token限制，如一次要求過長，輸出的擴寫難以做到前后呼應 。ChatGPT本身不會產生新知識，文章擴寫難以寫出深刻見地，只能生成口水文 。通過給定關鍵詞和案例，要求生成有規(guī)律的短文案 ， 是應用其文章擴寫能力的有效方法 。
2）翻譯
GPT模型訓練時學習了大量語言 ， 具備跨語言能力 。無論用何種語言與其溝通，只要理解意圖 ， 分析問題能力是不區(qū)分語言的 。因此，翻譯對GPT來說很輕松 。當然也僅限基本翻譯，不要指望其能翻譯的“信、達、雅” 。
3）情感分析
GPT能理解文字背后的用戶情緒 。例如 ， 在客服模塊引入GPT能力，基于用戶語音和文字快速判斷情緒狀況，提前識別潛在客訴 ， 在情緒爆發(fā)前進行有效安撫 。
 
第三層：文本能力在這類應用中 ， GPT的能力已經超越了語言，它通過大量學習，凡是與文本相關的任務，都能勝任 。它甚至具備真正的學習能力，使用few-shot技巧，能解決訓練數據中不存在的問題 。本層的應用范圍極廣，將迸發(fā)出大量極具創(chuàng)造力的產品 。我在這里僅舉一些典型例子 。
1）寫代碼
ChatGPT能編寫SQL、Python、Java等代碼，并幫忙查找代碼BUG 。與撰寫文章的原因類似 ， 不能要求其編寫過長的代碼 。
2）寫提示詞
要求GPT創(chuàng)作提示詞是與其他AI聯(lián)動的簡單方式 。例如，要求GPT為midjourney撰寫提示詞，已成為非常主流的做法 。
3）數據分析
ChatGPT可以直接進行數據分析，或與EXCEL配合進行數據分析 。它將數據分析操作成本降至極低 ， 大幅提升了數據分析的效率 。
 
第四層：推理能力在前幾層中 ， 我們已經見識了GPT的推理能力 。以GPT的推理能力替代手動點擊操作流，將帶來B端和C端的產品設計的顛覆式變化 。個人認為，短期內B端的機會大于C端 。經過互聯(lián)網20年的發(fā)展，C端用戶的主要需求已基本得到滿足，顛覆C端用戶的操作路徑會帶來較大的學習成本 。而B端則有很大的發(fā)揮空間 ， 這里將其分為三個階段：
1）自動化工作流串聯(lián)
利用ChatGPT理解人類意圖的能力，結合langChain技術將提示詞和公司內各項工作的網頁鏈接整合 。員工無需尋找各種鏈接 ， 在需要執(zhí)行相關操作時 ， 會自動跳轉到相應頁面 ， 進行下一步操作 。以ChatGPT為智慧中樞，實現(xiàn)將B端各類操作有機整合 。下圖為設計思路的示例 。

文章插圖
2）AI輔助決策
以第一個階段為基礎，將對應頁面的部分功能與GPT聯(lián)動 。這樣，在員工執(zhí)行操作時，部分功能可以由AI實現(xiàn)，成倍提升效率 。微軟Copilot正是這類產品的代表，比如可以實現(xiàn)在Excel中說明自己想要進行的數據分析，無需尋找相關公式，數據分析就自動做好了 。
3）全自動AI工作流
本階段目前還處于演示層面，呈現(xiàn)了未來的愿景 。如前文所述 ， GPT很難解決特定領域的細節(jié)問題，除非針對某個場景進行大量的微調與私有數據部署 。AutoGPT、AgentGPT都屬于此類 。
 
第五層：國產大模型AI技術是科學而非神學 ， 大模型的原理也不是秘密 。美國能做到 ， 我國不僅能，而且有必要 。只要訓練數據質量達標，模型參數突破千億便具備推理能力，突破八千億可與GPT-4匹敵 。采用大量中文語料和中文微調，我國必將擁有符合本國文化背景、價值觀的大模型 。
然而，路漫漫其修遠兮，困難也是極多的，如：訓練成本極高、訓練數據質量要求高、模型優(yōu)化復雜、馬太效應明顯等 。因此，預計在未來五年內 ， 中國最多只會有3家知名大模型服務商 。
大模型是AI時代的基礎設施，大部分公司選擇直接應用，直接獲取商業(yè)價值 。在這個大背景下 ， 愿意投身自有大模型的公司就更加難能可貴了 。在此，我謹代表個人向那些勇于投身于自有大模型建設的國內企業(yè)表示敬意 。
 
四、總結總的來看，ChatGPT是一款跨時代的產品 。不同層面對GPT技術的應用，體現(xiàn)出了一些共性的機會 。我總結了三項未來具有巨大價值的能力 。
 
1. 問題分解技術鑒于GPT回復的限制在于最多只能基于32,000個tokens ， 因此有效地將問題分解成子問題并交由GPT處理顯得尤為關鍵 。未來的工作模式可能將問題拆解為子問題，再組裝子問題的解決方案 。在具體實施時，還需要對子問題的難度進行判斷，有些問題可以交給一些小模型處理，這樣就可以有效的控制應用成本 。
 
2. 三種調優(yōu)方法想要讓GPT在多個層面上發(fā)揮特定的作用，主要有三種交互方式 ， 成本從低到高分別為：

文章插圖
① 提示詞優(yōu)化
通過探索找到最優(yōu)提示詞模板，預留特定槽位以供用戶輸入 。僅通過提示詞優(yōu)化就能實現(xiàn)廣泛功能 ， 許多基于GPT的產品，其底層就是基于特定提示詞的包裝 。好的提示詞需包含角色、背景、GPT需執(zhí)行的任務、輸出標準等 。根據業(yè)界的研究，好的提示詞能使GPT3.5結果的可用性由30%飆升至80%以上 。提示詞優(yōu)化毫無疑問是這三種方法中最重要的 。
② embedding
這是一種搭建自有知識庫的方法，將自建知識庫使用embedding技術向量化，這樣GPT就能基于自有數據進行問答 。
③ 微調（finetune）
通過輸入大量問答 ， 真正教會GPT如何回答某類問題，成本較前兩者更高 。優(yōu)勢在于將提示詞的短期記憶轉化為私有模型的長期記憶，從而釋放寶貴的Token以完善提示詞其他細節(jié) 。
以上三種方式并不沖突，在工程實踐中往往互相配合，特別是前兩種 。
 
3. 私有數據積累私有數據集的價值得到進一步提升，各行業(yè)可基于此對GPT進行二次包裝，解決特定領域問題 。建議使用微軟Azure提供的GPT接口，搭建帶有私有數據的大語言模型產品 。因微軟面向B端的GPT服務為獨立部署，不會將私有數據用于大模型訓練 ， 這樣可以有效保護私有數據 。畢竟私有數據一旦公開 ， 價值將大打折扣 。
憑借以上幾項能力加持，大語言模型可以充分釋放在解決依賴電腦的重復性勞動的生產力 。我將下一個時代（3年內）的業(yè)務運轉模式總結如下圖：

文章插圖
企業(yè)會根據三大能力衍生出三大類角色：
① 問題分解者
這類角色很清楚大語言模型能力的邊界，能夠將一個業(yè)務問題有效的分解為GPT能處理的子問題，并能根據問題結果，將子問題進行拼裝 。
② 提示工程師
這類角色深諳與GPT溝通之道 ， 能夠根據不同的問題類型 ， 給出有效的提示詞模板，極大提升GPT的輸出質量 。
③ 知識擁有者
這類角色有大量的行業(yè)knowhow ， 并且能夠將知識進行結構化，傳授給GPT 。對應現(xiàn)在的領域專家 。
在這種模式的推動下，GPT將會成為企業(yè)提效的重要幫手，可以解決大量重復勞動，可以提供有價值的參考 。但人的主觀能動性仍起決定性作用 。
 
五、寫在最后以GPT-4為代表的AI技術當前的水平，帶來的效率提升已經令人震驚，更遑論其仍以飛快的速度進化 。從技術革命的發(fā)展史來看，一項大幅度提效的新技術出現(xiàn)，往往先惠及B端，而后才慢慢在C端開始釋放巨大的價值 。這是由企業(yè)對效率天然的敏感性所決定的，而改變C用戶的習慣需要大量學習成本與場景挖掘，滯后效應較強 。舉三個例子：

1. 回顧第一次工業(yè)革命，蒸汽機的出現(xiàn)先導致了紡織女工的大量失業(yè)，而后才挖掘到各種C端場景，推動了社會生產力的大幅度上升 。
2. ChatGPT可以更快的生成口水文 ， 但是C端用戶對閱讀的訴求沒有增加 。對于營銷號公司來說，效率提升了，所需要的小編變少了 。
3. MidJourney可以快速出游戲貼圖，但是這并不會導致更多的人愛玩游戲，那么需要畫師就少了 。

一場信息化企業(yè)的效率革命就要到來了，依靠電腦的重復勞動將會消失，因為大模型最擅長學習固定的套路 。正如我文初所說，像IBM公司縮減7800個編制的案例，只會發(fā)生的越來越頻繁 。
【解析chatGPT的基本意義 chatgpt究竟啥原理】AI時代真的已經到來 。每個崗位都需要思考、學習，如何讓AI成為工作上的伙伴

以上關于本文的內容，僅作參考！溫馨提示：如遇健康、疾病相關的問題，請您及時就醫(yī)或請專業(yè)人士給予相關指導!

「愛刨根生活網」www.malaban59.cn小編還為您精選了以下內容，希望對您有所幫助：

• Excel自動填充學號的便捷方法
• 解決OBS直播沒有聲音的問題
• 手把手教你做超好吃的甲魚湯 甲魚湯怎么做好喝又營養(yǎng)
• 制作金箔文字和邊框效果的Word封面
• 如何打造一個整潔有序的電腦桌面
• 不是錢的事 淄博燒烤店停業(yè)三天 老板:保命要緊
• 如何在WORD文檔中插入多行多列的表格
• 手機內屏與外屏的區(qū)別
• 水煮肉片的做法 水煮肉片的家常做法
• 新解決Windows 10中javac未識別為內部或外部命令的方法