新范式一旦成立，就會形成一種人工智能跟知識發(fā)現(xiàn)的新飛輪。

ChatGPT“暈菜”了。

去年第一次跟ChatGPT對話時，周伯文特意給它出了一道難題：“我的朋友比他領(lǐng)導(dǎo)大10個月，他們現(xiàn)在結(jié)婚3年了，請問結(jié)婚50年時他比他的領(lǐng)導(dǎo)大幾個月？”

【資料圖】

ChatGPT也的確被這個腦筋急轉(zhuǎn)彎似的簡單推理難住了，“它一五一十地跟我分析計(jì)算，大意是現(xiàn)在大10個月，結(jié)婚3年了，離他們結(jié)婚50年還有47年，一年有12個月，47×12等于多少，再加上10個月，那時候他會比他的領(lǐng)導(dǎo)大400多個月。”

周伯文是清華大學(xué)惠妍講席教授、清華大學(xué)電子工程系長聘教授和協(xié)同交互智能研究中心主任、銜遠(yuǎn)科技創(chuàng)始人，由于長期研究自然語言、大模型和人機(jī)對話相關(guān)技術(shù)，他清楚地知道當(dāng)前技術(shù)的優(yōu)勢和短板。周伯文表示，目前寫作和總結(jié)類相關(guān)問題，ChatGPT可以有理有據(jù)地高情商回答，但一旦涉及到知識與推理的結(jié)合，它的短板就顯現(xiàn)出來了。

盡管如此，周伯文依然非常看好ChatGPT的前景，“我們對ChatGPT的態(tài)度是‘到來不吃驚，影響不低估，未來有辦法’。”

目前ChatGPT的應(yīng)用非常廣泛，這背后需要大量的數(shù)據(jù)和算力去支持大模型。在周伯文看來，雖然國內(nèi)資金充裕和能力十足的大廠紛紛下場，但受限于自身業(yè)務(wù)發(fā)展，而且也會經(jīng)歷一個較長的研發(fā)時間，再加上大廠在公司發(fā)展決策上的種種顧慮，比如管理層和技術(shù)leader的認(rèn)知和預(yù)期是否一致，還要考慮股價(jià)、投資回報(bào)率等，究竟誰（的大模型）能跑出來現(xiàn)在要打一個問號。

周伯文也提出了另一條可行的路徑，“我認(rèn)為在垂直領(lǐng)域里結(jié)合應(yīng)用端到端的去訓(xùn)練、逐步發(fā)展為大模型的模式是一條值得重視與探索的路，尤其是對創(chuàng)業(yè)公司來說。因?yàn)槟壳暗氖袌鲎銐虼螅瑒?chuàng)業(yè)公司只要先做好一個垂直領(lǐng)域，幫助自有的大模型帶來數(shù)據(jù)、場景的閉環(huán)，也因?yàn)榭蛻魞r(jià)值清晰明確，有明確的付費(fèi)模式支持，模型越來越強(qiáng)大的路徑就會打通。”

而這一端到端路徑也在周伯文的創(chuàng)業(yè)過程中逐漸得到驗(yàn)證。2021年底，周伯文創(chuàng)立銜遠(yuǎn)科技，并研發(fā)了多輪對話模型ProductGPT，旨在與專業(yè)人員深度交互協(xié)同，幫助企業(yè)高效打造爆款創(chuàng)新產(chǎn)品。3月1日，銜遠(yuǎn)科技宣布已完成由啟明創(chuàng)投領(lǐng)投，經(jīng)緯創(chuàng)投跟投的數(shù)億元天使輪融資。

近日，周伯文在與《中國企業(yè)家》的一次內(nèi)部交流中，發(fā)表了主題演講《When we chat about ChatGPT，what do we chat about？》，主要介紹了協(xié)同交互智能與多模態(tài)學(xué)習(xí)領(lǐng)域內(nèi)的最新進(jìn)展，與對ChatGPT在未來產(chǎn)業(yè)應(yīng)用的展望。

本次演講要點(diǎn)包括：

1.ChatGPT的出現(xiàn)是必然的，OpenAI這家公司首先做出來則是有一定偶然性的。

2.ChatGPT還遠(yuǎn)遠(yuǎn)不到通用人工智能的程度，其推理、知識等能力存在明顯短板。

3.ChatGPT第一次實(shí)現(xiàn)了人跟AI多輪協(xié)同共創(chuàng)，這帶來了一個巨大的范式轉(zhuǎn)移。一旦范式成立，會形成一種人工智能推動新知識發(fā)現(xiàn)的新飛輪。

4.研發(fā)通用大模型的成本非常高而且是一個不斷提升的移動目標(biāo)，從垂直大模型加場景端到端做起，慢慢迭代出更大的商業(yè)模型，或許是創(chuàng)業(yè)公司更適合的做法。

5.AI的下一個突破會從純虛擬的存在轉(zhuǎn)到幫助人在物理世界、生物世界和信息世界里更高效洞察、形成新知識并完成任務(wù)，創(chuàng)造更高價(jià)值場景。

以下為演講內(nèi)容，有刪減。

ChatGPT的短板與長處

對于我們業(yè)界研究的人而言，我們很早就預(yù)見了AI能力的涌現(xiàn)。AI的發(fā)展是有一個長鏈條存在的，從機(jī)器學(xué)習(xí)到神經(jīng)網(wǎng)絡(luò)到深度學(xué)習(xí)，到Transformer模型，再到GPT-3，InstructGPT，一直到ChatGPT，整個路徑非常清晰，所以ChatGPT的出現(xiàn)并不是一件完全不可預(yù)見的事情。

即使沒有OpenAI，AI能力技術(shù)也會在這一兩年里涌現(xiàn)，所以我認(rèn)為ChatGPT的出現(xiàn)是必然的，OpenAI這家公司做出來則是有一定偶然性的。

OpenAI為什么能做出ChatGPT呢？

我認(rèn)為，雖然這個工作本身是OpenAI自己參與，但絕對離不開整個學(xué)術(shù)社區(qū)的幫助。

像我們說的Transformer模型，就是基于多頭自注意力等學(xué)術(shù)理論的進(jìn)一步深入，并在成功后獲得更多研究分析其機(jī)理的合理性。這些學(xué)術(shù)社區(qū)的研究驗(yàn)證了大模型在被大量數(shù)據(jù)訓(xùn)練后，確實(shí)能存儲豐富的知識了，它的表現(xiàn)就不是隨機(jī)生成的過擬合。這些進(jìn)展讓公司更有勇氣砸大量金錢去訓(xùn)練模型，一定需要證據(jù)證明方向是正確的，而這些研究就是一個非常好的證據(jù)。

另外，還一定要有競爭，如果GPT模型沒有跟同期的BERT（Google的預(yù)訓(xùn)練模型）模型長期競爭，它的進(jìn)展不會這么快。

ChatGPT還對兩個理論進(jìn)行了驗(yàn)證，一個是數(shù)據(jù)越多，能力越強(qiáng)，就是線性放大的理論“Scaling Laws”；另一個是“能力涌現(xiàn)”，就是模型大到一定程度后，它就會突然開始融會貫通了。

但在我看來，ChatGPT還遠(yuǎn)遠(yuǎn)不到通用人工智能的程度。ChatGPT證明了通過大量的無監(jiān)督學(xué)習(xí)的有效性。但人工智能要更具通用性，還需要具備知識、計(jì)算、推理這三種能力的組合能力。

ChatGPT目前做得比較好的是計(jì)算，在推理上也出現(xiàn)了一些能力涌現(xiàn)，但復(fù)雜推理的程度比較低。比如說人可以進(jìn)行多跳推理，直接從a推導(dǎo)出c來。但ChatGPT的推理能力在兩跳以上后，它就會迅速降低到20%的準(zhǔn)確率，因此我說這個能力還遠(yuǎn)遠(yuǎn)不夠。知識層面，目前ChatGPT的知識是不完備的。

ChatGPT的第二個短板，就是模型越大并不一定意味著越好。當(dāng)訓(xùn)練模型規(guī)模達(dá)到一定界限時，AI在某些任務(wù)上的表現(xiàn)反而會下降。因?yàn)槟壳癆I真正的想象力和推理能力有很大的缺陷，一旦投喂數(shù)據(jù)越多，模型越大，它的思維和創(chuàng)造力就會被固化了。

ChatGPT能做到現(xiàn)在這個地步，除了底層大模型的能力涌現(xiàn)之外，它有一個非常主要的貢獻(xiàn)，就是通過人的協(xié)同和交互來加強(qiáng)AI的能力。

舉個例子，如果我們問GPT-3（ChatGPT的基礎(chǔ)模型），請跟一個6歲的小孩解釋登月工程。找到可能的答案對GPT-3一點(diǎn)都不難，它至少能找到4個答案:a是從萬有引力出發(fā)解釋這個問題；b可以從歷史出發(fā)，比如蘇聯(lián)衛(wèi)星上天了，導(dǎo)致美國的危機(jī)感，所以啟動登月工程；c可以從天文學(xué)出發(fā)，月亮是地球的一個古老衛(wèi)星；d可以從人類的美好愿望出發(fā)，月亮上有嫦娥有玉兔，我們?nèi)祟惱舷肴ツ抢铩?/p>

這個問題到底難在哪？是GPT-3不知道哪個答案更適合給6歲的小孩。

OpenAI就想了一個非常好的辦法，就是讓人給答案進(jìn)行排序。在面對6歲小孩時，人的排序就是d>c>a=b，即從d開始講，6歲小孩更容易接受。當(dāng)人把反饋給了GPT-3后，它就會把反饋學(xué)去了，學(xué)會對答案怎么排序，排完序之后的模型，就從原來的GPT-3變成InstructGPT（ChatGPT的初始版本）。GPT-3大概有1750億訓(xùn)練參數(shù)，而InstructGPT只有它1%的大小，即13億參數(shù)。但是這個模型它學(xué)完后，你再去問它，給6歲小孩寫一首關(guān)于青蛙的故事，他就會在開頭說once upon a time，類似于兒歌一樣的開頭。

由此可見，人的反饋對ChatGPT非常重要，能夠讓它以人的價(jià)值觀和理解去學(xué)習(xí)排序，這也是人類用戶感覺到ChatGPT有很高情商的原因。但這是很多人擔(dān)心的，ChatGPT能學(xué)習(xí)到帶有帶有訓(xùn)練用戶價(jià)值觀的輸出，通過排序打分會改變它采用答案的優(yōu)先級，這也是為什么很多監(jiān)管部門在關(guān)注這個問題的原因。

此外，ChatGPT的多模態(tài)協(xié)同交互也非常重要。同時，AI與環(huán)境的協(xié)同演化也很重要。ChatGPT這個人機(jī)協(xié)同的系統(tǒng)，很難用到非常復(fù)雜的需要實(shí)時的終端里去。如何在不同的邊緣計(jì)算資源、通信帶寬條件下，有效利用類ChatGPT的能力？這是產(chǎn)業(yè)互聯(lián)網(wǎng)及其生產(chǎn)實(shí)踐里的一個非常重要的話題。

我們現(xiàn)在也在研究如何讓云端的ChatGPT的能力，能夠部署到工廠的生產(chǎn)、設(shè)計(jì)、實(shí)踐各個環(huán)節(jié)里進(jìn)行有效利用，通過終端跟專業(yè)用戶的交互協(xié)同，把人的專業(yè)知識學(xué)習(xí)放到邊緣端的模型里，同時又能讓云端的ChatGPT根據(jù)大量邊緣端的進(jìn)步不斷迭代。按照InstructGPT的模式，就變成了原來是云端模型直接跟人交互，現(xiàn)在是云端大模型與邊緣小模型交互，這些小模型再去跟人交互，這就是我們團(tuán)隊(duì)研究的AI與環(huán)境的協(xié)同。這也是在學(xué)術(shù)界，值得我們未來10年去研究的重大課題。

一個巨大的范式轉(zhuǎn)移

ChatGPT的出現(xiàn)是一個里程碑事件，過去二十多年里，為公眾所熟知的DeepBlue、IBM Watson和AlphaGo等AI應(yīng)用，往往通過與人類競爭制造熱點(diǎn)，并以超過人類的效果獲得廣泛關(guān)注，而ChatGPT第一次提出了人跟AI協(xié)同共創(chuàng)，這帶來了一個巨大的范式轉(zhuǎn)移。即人工智能的新一輪創(chuàng)新一定會圍繞人機(jī)的協(xié)同共創(chuàng)來展開。這個路徑展開后會帶來更大量的應(yīng)用，進(jìn)而帶來生產(chǎn)力格局的演變。這對人工智能技術(shù)企業(yè)的影響非常深刻。

另外，從更高層面上來講，ChatGPT對相關(guān)行業(yè)影響也非常深刻。

我舉一個科研的例子，《Nature》雜志1月5日的封面文章，主要就討論了過去幾十年人類科學(xué)的論文越發(fā)越多，但突破性的成果越來越少的問題，不光在中國，整個世界都出現(xiàn)了同樣的情況。

我認(rèn)為重要原因之一就是隨著科技的大量發(fā)展，每個學(xué)科都已經(jīng)非常完善，學(xué)科里面開始形成了信息繭房。在一個學(xué)科非常小的子領(lǐng)域內(nèi)，論文就越來越多，而在這個領(lǐng)域里，研究人員要讀大量的論文才能覆蓋一個很小的領(lǐng)域，所以信息繭房內(nèi)的信息過載，繭房之間壁壘過高，最終導(dǎo)致一個研究人員要花大量時間去掌握這些知識，那他創(chuàng)造的時間就少了，交叉創(chuàng)新的機(jī)會就更少了。

設(shè)想如果人工智能系統(tǒng)可以把大量領(lǐng)域里的所有基礎(chǔ)內(nèi)容全部掌握，然后去跟人對話、去交流、可以幫人做各種驗(yàn)證、論證和計(jì)算，和啟發(fā)人，這樣最終人就可以有更多時間做最有創(chuàng)造力的突破性工作。

這就是我們討論的一種新范式。這種范式一旦成立，意義極其巨大，會形成一種人工智能跟知識發(fā)現(xiàn)的新飛輪。即人工智能做得越強(qiáng)，它的知識、理解、推理等組合能力越強(qiáng)，就越能幫助人類發(fā)現(xiàn)更多更好的突破性的科學(xué)進(jìn)展和新知識，包括新藥的發(fā)現(xiàn)、癌癥的治療、人腦的研究等。

而隨著這些新知識的獲取，我們就越能幫助世界創(chuàng)造出更好的人工智能，新的人工智能突破又能帶來更多知識，形成人工智能-知識的一個正向飛輪。

AI加速產(chǎn)業(yè)創(chuàng)新與應(yīng)用

我認(rèn)為，人工智能會幫助人類做更好的高質(zhì)量發(fā)展。

因?yàn)锳I能夠助力企業(yè)創(chuàng)新，這也是我在產(chǎn)學(xué)研結(jié)合領(lǐng)域非常關(guān)注的事情。我們希望借助人工智能的數(shù)據(jù)分析、理解推理、計(jì)算能力、設(shè)計(jì)能力，去幫助人更好地洞察市場、洞察消費(fèi)者、進(jìn)而設(shè)計(jì)出創(chuàng)新的產(chǎn)品。也就是生成創(chuàng)意、生成產(chǎn)品、完成設(shè)計(jì)圖紙、生成銷售計(jì)劃等原來需要很多專業(yè)人士完成的工作，都可以讓AI幫助加快做成，最終讓人來做判斷，這是生成式人工智能、人機(jī)協(xié)同帶來的全新的創(chuàng)新。

如果這樣去考慮的話，有很多產(chǎn)業(yè)機(jī)會值得關(guān)注。因此有很多投資者問我，怎么看人工智能和大模型ChatGPT的未來產(chǎn)業(yè)機(jī)會？

我的回答就是，去觀察一家美國硅谷的VC叫A16Z。這家非常有名的高科技風(fēng)險(xiǎn)投資機(jī)構(gòu)把整個生成式人工智能AIGC技術(shù)分成這么幾類：最底層的是計(jì)算硬件，如GPUs；再上層的是做云計(jì)算平臺的，如AWS，以及國內(nèi)的阿里云、騰訊云；再往上就是作閉源人工智能通用大模型，如GPT-3、ChatGPT等的公司如OpenAI，以及一些開源模型。基于這些模型，上面有做各種應(yīng)用的公司；特別值得注意的一類就是把底層自有大模型能力和應(yīng)用融合起來，我們叫端到端的公司。

A16Z的觀點(diǎn)是，目前ChatGPT等非常新的前沿技術(shù)，具體的可持續(xù)的商業(yè)模式還不明確。不像底層的計(jì)算硬件和云肯定會獲利，包括微軟等公司；應(yīng)用層做APP的，因?yàn)闆]有護(hù)城河，也難以保證獲利。唯一明確就是端到端的公司，如美國的Midjourney，具有非常明確的前景，這家公司現(xiàn)在每年能拿到1億美元的可持續(xù)訂閱費(fèi)。銜遠(yuǎn)科技按照A16Z對業(yè)務(wù)模式分類中就屬于端到端的應(yīng)用。

為什么這種模式從長遠(yuǎn)看更有競爭力？從技術(shù)角度來講，是因?yàn)樗鸦A(chǔ)設(shè)施、大模型、應(yīng)用場景和終端用戶形成了一個非常重要的閉環(huán)。當(dāng)公司有了具體的功能讓終端用戶使用，進(jìn)而會產(chǎn)生非常多的使用數(shù)據(jù)，數(shù)據(jù)反饋后又能幫助提升應(yīng)用，也能幫助提升基礎(chǔ)模型能力，最終模型也會不斷去調(diào)優(yōu)迭代越做越好。

此外，大模型也是未來產(chǎn)業(yè)發(fā)展的重點(diǎn)，但大模型的商業(yè)模式值得探討。因?yàn)榇竽Ｐ偷某杀颈趬痉浅８撸蠊竞托∑髽I(yè)都有各自的負(fù)擔(dān)。所以我覺得從端到端做起，慢慢迭代出更大的商業(yè)模型，或許是更適合的做法。

這樣又會產(chǎn)生一個疑問，就是把閉源模型加上一個垂直應(yīng)用打包在一起，是否能取得端到端的商業(yè)模式？

ChatGPT現(xiàn)存的一些弱點(diǎn)，讓這個問題的答案是明確的否定。目前，ChatGPT就像一個典型的“萬金油”，它什么都知道一點(diǎn)，也能非常合乎邏輯地把一些信息整合出來，但很多回答存在無法保證信息準(zhǔn)確、量化的問題；第二，對于信息特別是數(shù)據(jù)自身的關(guān)聯(lián)，它難以建立背后的邏輯；第三，它不能提供獨(dú)特的洞見，它基本上就是一個更高級的留聲機(jī)。

一旦垂直領(lǐng)域?qū)I(yè)用戶使用ChatGPT，他就會發(fā)現(xiàn)ChatGPT提供的答案，要么就是專業(yè)用戶都知道的內(nèi)容，要么它可能一本正經(jīng)地信口開河，不能保證它回答的對不對。

因此，銜遠(yuǎn)科技做了一個垂類的模型，叫ProductGPT，幫助企業(yè)做產(chǎn)品創(chuàng)新。它可以幫助垂直領(lǐng)域的企業(yè)工作人員做創(chuàng)新，在回答時給出非常全面的分析。因?yàn)樗泻茉攲?shí)的數(shù)據(jù)支持，另外它能夠按照品牌、品類、特點(diǎn)去展開深度分析，真正幫助到專業(yè)人士。

ProductGPT作為垂直領(lǐng)域的協(xié)同交互式人工智能，按照我們目前收集的測試，它能夠讓創(chuàng)新機(jī)會翻10倍，上市周期快將近10倍，創(chuàng)新成本大量降低，幫企業(yè)帶來收入、業(yè)務(wù)增長和利潤。

ChatGPT對產(chǎn)業(yè)、政策、監(jiān)管等的意義

ChatGPT的多輪生成對話，可能會引發(fā)一些新的人工智能治理問題。我總結(jié)了三點(diǎn)：

1.如何從治理的角度對ChatGPT的輸出加以標(biāo)注？

對人工智能生成的內(nèi)容中有可能存在彼此矛盾沖突的信息、錯誤知識、過時知識、謊言、偏見、種族歧視等予以標(biāo)注，幫助用戶謹(jǐn)慎對待。比如，我們需要討論是否及如何對AI產(chǎn)生的內(nèi)容增加數(shù)字水印，讓大家看到時就知道是人工智能生成的而更謹(jǐn)慎對待？

2.ChatGPT相關(guān)的知識產(chǎn)權(quán)問題及相關(guān)法律問題研究。

ChatGPT在實(shí)際應(yīng)用場景中必然會引發(fā)許多版權(quán)問題，其訓(xùn)練過程中使用了海量互聯(lián)網(wǎng)語料，這種對已有文本數(shù)據(jù)的模仿也會構(gòu)成侵權(quán)。ChatGPT生成內(nèi)容的知識產(chǎn)權(quán)是歸用戶，還是歸原創(chuàng)內(nèi)容的所有者，還是歸OpenAI？同時，因?yàn)槭褂肅hatGPT帶來不良后果的責(zé)任該由誰來承擔(dān)，相關(guān)的法律問題也亟待研究。

3.ChatGPT使用范圍的界定，其已經(jīng)對許多行業(yè)帶來了沖擊。

例1：中學(xué)生會借助ChatGPT來完成作業(yè)，但由于其生成內(nèi)容的不可控性，會帶來法律、安全、倫理風(fēng)險(xiǎn)，甚至引導(dǎo)學(xué)生犯罪。

例2：在學(xué)術(shù)研究中，如果把思考任務(wù)交給自動聊天機(jī)器人，也會違反學(xué)術(shù)倫理規(guī)范。

我今年年初在美國計(jì)算機(jī)協(xié)會的會刊ACM Computing Surveys上，發(fā)了一篇論文 《可信賴的人工智能：從原則到實(shí)踐》提出，可信賴的人工智能不是一個孤立的問題，一定要把人工智能的可解釋性、抗攻擊性放在一起綜合考慮，包括ChatGPT現(xiàn)在碰到的問題，都值得在學(xué)術(shù)上面研究。有關(guān)泛化性、可解釋性、透明性、可復(fù)制性、價(jià)值對齊、負(fù)責(zé)任等問題都是需要去解決的。所以總的來講，現(xiàn)在人工智能還有很多的工作要做，特別在ChatGPT的大背景下，學(xué)術(shù)研究、監(jiān)管和實(shí)踐是三位一體的，要互相迭代。

關(guān)鍵詞：