(資料圖)
ChatGPT是一款由美國OpenAI公司開發(fā)的自然語言人機(jī)交互應(yīng)用，擁有接近人類水平的語言理解和生成能力，是迄今為止人工智能領(lǐng)域最成功的產(chǎn)品和歷史上用戶增長速度最快的應(yīng)用程序。ChatGPT依賴大模型、大數(shù)據(jù)、大算力支撐，其出現(xiàn)標(biāo)志著通用人工智能的起點(diǎn)和強(qiáng)人工智能的拐點(diǎn)，是里程碑式的技術(shù)進(jìn)步，將引發(fā)新一輪人工智能革命。
國內(nèi)人工智能“大模型”已具備一定基礎(chǔ)，但與ChatGPT還存在一定差距，其背后面臨數(shù)據(jù)、算力和創(chuàng)新環(huán)境等深層次制約。需從戰(zhàn)略高度重視ChatGPT引發(fā)的新一輪人工智能革命，瞄準(zhǔn)大模型、整合大數(shù)據(jù)、布局大算力，實(shí)施包容審慎監(jiān)管，為新事物發(fā)展留足空間，加快搶占未來科技競爭制高點(diǎn)。
ChatGPT具有里程碑意義
將引發(fā)新一輪人工智能革命
ChatGPT （Chat Generative Pre-trained Transformer，聊天生成型預(yù)訓(xùn)練轉(zhuǎn)換模型） 是一款由美國OpenAI公司開發(fā)的自然語言人機(jī)交互應(yīng)用，擁有接近人類水平的語言理解和生成能力，因其出色的回答問題、創(chuàng)作內(nèi)容、編寫代碼等能力，使得人們直觀真切地體會到人工智能技術(shù)進(jìn)步帶來的巨大變革和效率提升，上線5天用戶突破100萬，兩個月活躍用戶突破1億，是迄今為止人工智能領(lǐng)域最成功的產(chǎn)品和歷史上用戶增長速度最快的應(yīng)用程序。 ChatGPT是一個經(jīng)過長期技術(shù)儲備、通過大量資源投入、帶有一定成功偶然性的人工智能“核爆點(diǎn)”。 ChatGPT的發(fā)展經(jīng)歷了3個階段 （如下圖所示） ，前期GPT-1 （2018年） 、GPT-2 （2019年） 、GPT-3 （2020年） 等版本已經(jīng)投入了大量資源 （包括購買高性能芯片、雇傭數(shù)據(jù)標(biāo)注人員、占用計(jì)算資源等） ，效果并不理想，后期在采用“基于強(qiáng)化學(xué)習(xí)的人類反饋學(xué)習(xí)”技術(shù)后發(fā)生“蝶變”，迅速成為爆款應(yīng)用。 圖ChatGPT發(fā)展路徑 ChatGPT關(guān)鍵在于“三大支撐”。 一是“大模型” 。全稱是“大語言模型” （Large Language Model） ，指參數(shù)量龐大 （目前規(guī)模達(dá)千億級） 、使用大規(guī)模語料庫進(jìn)行訓(xùn)練的自然語言處理模型，是ChatGPT的“靈魂”。 二是“大數(shù)據(jù)” 。GPT-1使用了約7000本書籍訓(xùn)練語言模型。GPT-2收集了Reddit平臺 （美國第五大網(wǎng)站，功能類似于國內(nèi)的百度貼吧） 800多萬個文檔的40GB文本數(shù)據(jù)。GPT-3使用維基百科等眾多資料庫的高質(zhì)量文本數(shù)據(jù)，數(shù)據(jù)量達(dá)到45TB，是GPT-2的1150倍。 三是“大算力” 。以GPT-3為例，其參數(shù)量達(dá)1750億，采用1萬顆英偉達(dá)V100 GPU組成的高性能網(wǎng)絡(luò)集群，單次訓(xùn)練用時14.8天，總算力消耗約為3640PF-days （假如每秒進(jìn)行一千萬億次計(jì)算，需要3640天） 。 ChatGPT標(biāo)志著里程碑式的技術(shù)進(jìn)步。 一是在最具挑戰(zhàn)性的自然語言處理領(lǐng)域?qū)崿F(xiàn)了革命性突破。 相比視頻、圖像、語音等，自然語言的語法、語義、邏輯復(fù)雜，存在多樣性、多義性、歧義性等特點(diǎn)。文本數(shù)據(jù)稀缺，通常表現(xiàn)為非結(jié)構(gòu)化的低質(zhì)量數(shù)據(jù)。自然語言處理任務(wù)種類繁多，包括語言翻譯、問答系統(tǒng)、文本生成、情感分析等。因此，長期以來自然語言處理被認(rèn)為是人工智能最具挑戰(zhàn)性的領(lǐng)域。ChatGPT不僅實(shí)現(xiàn)了高質(zhì)量的自然語言理解和生成，并且能夠進(jìn)行零樣本學(xué)習(xí)和多語言處理，為自然語言處理領(lǐng)域帶來了前所未有的突破。 二是標(biāo)志著通用人工智能的起點(diǎn)。 在此之前，人工智能在不同場景應(yīng)用需要訓(xùn)練不同模型。而ChatGPT利用單一大模型即可完成人機(jī)對話、機(jī)器翻譯、編碼測試等多種任務(wù)，已經(jīng)具備通用人工智能的一些核心技術(shù)和特征：能夠自動化地學(xué)習(xí)各種知識、信息，不斷自我優(yōu)化；充分理解和流暢表達(dá)人類語言，邏輯推理強(qiáng)，實(shí)現(xiàn)了具備一般人類智慧的機(jī)器智能；擁有一定的自適應(yīng)和遷移學(xué)習(xí)能力，可以適用于多種應(yīng)用場景和任務(wù)。 三是代表著強(qiáng)人工智能的拐點(diǎn)。 ChatGPT證明了大模型的學(xué)習(xí)和進(jìn)化能力，將推動強(qiáng)人工智能 （機(jī)器擁有知覺和意識，有真正的推理和解決問題的能力） 加速演進(jìn)。目前大模型智能程度已接近人類水平，甚至一些業(yè)界人士認(rèn)為，將來會逐漸產(chǎn)生自我認(rèn)知和感知，進(jìn)而出現(xiàn)意識并且超越人類。 全球通用人工智能技術(shù)加速演進(jìn)。ChatGPT涉及到“三大”中的“大模型”是核心和獨(dú)門秘籍。當(dāng)前，隱藏在ChatGPT背后的“大模型”正越來越多進(jìn)入人們的視野。 國際上已掀起從“大煉模型”到“煉大模型”的技術(shù)熱潮。 OpenAI公司將繼續(xù)推進(jìn)ChatGPT的模型演進(jìn)，目前已發(fā)布多模態(tài)預(yù)訓(xùn)練大模型GPT-4，實(shí)現(xiàn)了幾個方面躍升：強(qiáng)大的圖像識別能力；文字輸入上限提升到2.5萬字；回答問題準(zhǔn)確性明顯提高；可以生成創(chuàng)意文本、歌詞，實(shí)現(xiàn)風(fēng)格變化等。谷歌創(chuàng)設(shè)了1370億參數(shù)級大型自然語言對話模型LaMDA。當(dāng)前正加快推出基于LaMDA的聊天機(jī)器人Bard，并動員全公司開展內(nèi)測。微軟與英偉達(dá)合作推出了5300億參數(shù)的MT-NLG模型，與兩家公司之前各自的系統(tǒng)相比，優(yōu)點(diǎn)在于更加擅長各種自然語言任務(wù)，例如自動生成句子、問答、閱讀和推理、詞義消岐等。Meta公司復(fù)現(xiàn)了GPT-3，并對所有社區(qū)免費(fèi)開放。以ChatGPT為代表的人工智能大模型滲透到各行各業(yè)，將引發(fā)新一輪人工智能革命。從本質(zhì)上看，ChatGPT是一個“大模型” （參數(shù)量巨大的概率模型） ，其成功實(shí)踐充分證明了作為通用技術(shù)的大模型在人類社會各個方面布局應(yīng)用的潛力。 一是成功探索了大模型的商業(yè)模式。 ChatGPT已經(jīng)應(yīng)用于商用搜索引擎和辦公軟件，嵌入GPT-3.5的微軟必應(yīng)搜索引擎可以更好理解和響應(yīng)用戶查詢，提供更準(zhǔn)確的搜索結(jié)果，嵌入GPT-4的Office軟件大幅提升了辦公效率。 二是短期來看大模型將替代服務(wù)業(yè)的一些工作。 ChatGPT可以完成各類文本生成任務(wù)，替代行政管理人員、科研人員、法律行業(yè)人士、媒體從業(yè)者、客服人員的部分工作。能夠編碼、檢測安全漏洞，替代軟件工程師的一些工作。可以高質(zhì)量完成語言間的轉(zhuǎn)換，替代翻譯人員的部分工作。 三是隨著大模型不斷滲透，人們的生產(chǎn)生活方式將發(fā)生深刻變革。 在不久的將來，廣泛開發(fā)應(yīng)用的大模型將以超出人類的速度和準(zhǔn)確性來執(zhí)行自動化生產(chǎn)、智能制造任務(wù)，賦能交通、醫(yī)療、金融等各個行業(yè)。這將會引發(fā)以強(qiáng)人工智能和通用人工智能為代表的新一輪智能革命，大幅提高生產(chǎn)效率，帶來經(jīng)濟(jì)、社會和產(chǎn)業(yè)的深刻變革。
表ChatGPT主要應(yīng)用場景
我國人工智能“大模型”
現(xiàn)狀與面臨的問題
國內(nèi)大模型已具備一定基礎(chǔ)，但與ChatGPT還存在一定差距。一是百度自主研發(fā)的“文心”大模型，參數(shù)規(guī)模達(dá)2600億，已在能源、金融、制造等領(lǐng)域發(fā)布了11個行業(yè)大模型。二是阿里達(dá)摩院推出10萬億參數(shù)的多模態(tài)M6大模型。三是華為與鵬城實(shí)驗(yàn)室合作開發(fā)的盤古大模型，是首個全開源2000億參數(shù)中文預(yù)訓(xùn)練語言模型，在知識問答、知識檢索、知識推理、閱讀理解等文本生成領(lǐng)域表現(xiàn)突出。四是北京智源人工智能研究院推出1.75萬億參數(shù)的悟道2.0，可以同時處理中英文和圖片數(shù)據(jù)。浪潮和中科院也分別推出了相應(yīng)的大模型等。 從技術(shù)能力來看，專家判斷當(dāng)前國內(nèi)技術(shù)比ChatGPT主要差在大模型環(huán)節(jié)，包括清洗、標(biāo)注、模型結(jié)構(gòu)設(shè)計(jì)、訓(xùn)練推理的技術(shù)積累。ChatGPT背后是文本/跨模態(tài)大模型、多輪對話、強(qiáng)化學(xué)習(xí)等多技術(shù)的融合創(chuàng)新，而國內(nèi)大部分科技企業(yè)、科研院所多聚焦垂直應(yīng)用，缺乏多技術(shù)融合創(chuàng)新能力。從落地應(yīng)用來看，國內(nèi)頭部企業(yè)均表示已開展相關(guān)技術(shù)研發(fā)或部分模型進(jìn)入內(nèi)測階段，但仍未出現(xiàn)與ChatGPT抗衡的大模型產(chǎn)品。加之大模型的訓(xùn)練成本較高，技術(shù)應(yīng)用面臨著億元級研發(fā)投入和海量訓(xùn)練試錯，國內(nèi)企業(yè)投入嚴(yán)重不足，研發(fā)推廣和產(chǎn)業(yè)落地整體落后于海外。 差距背后存在深層次制約因素，或使中美“大模型”差距進(jìn)一步拉大，主要表現(xiàn)為三個“缺少”： 缺少高質(zhì)量訓(xùn)練數(shù)據(jù)。 GPT-3模型訓(xùn)練需要的語料75%是英文，3%是中文，還有一些西班牙文、法文、德文等語料集，這些學(xué)習(xí)語料可通過公開數(shù)據(jù) （如維基百科、百度百科、微博、知乎等） 、開源數(shù)據(jù)集、網(wǎng)頁爬?。? 訓(xùn)練GPT-3爬取了31億個網(wǎng)頁，約3000億詞） 、私有數(shù)據(jù)集 （如OpenAI的WebText數(shù)據(jù)集，收集了Reddit平臺上的800萬篇高贊文章，約150億詞） 等方式獲取。這些語料中，英文語料公開數(shù)據(jù)更多、質(zhì)量更高。中文開源高質(zhì)量數(shù)據(jù)少，特別是構(gòu)建通用領(lǐng)域大模型的百科類、問答類、圖書文獻(xiàn)、學(xué)術(shù)論文、報紙雜志等高質(zhì)量中文內(nèi)容。同時，國內(nèi)專業(yè)數(shù)據(jù)服務(wù)還處于起步階段，可用于人工智能模型訓(xùn)練的經(jīng)過加工、清洗、標(biāo)注的高質(zhì)量數(shù)據(jù)集還相對匱乏。缺少高質(zhì)量訓(xùn)練數(shù)據(jù)已成為國內(nèi)大模型訓(xùn)練的核心痛點(diǎn)。 缺少充足的智能算力支撐。 一是大模型訓(xùn)練和運(yùn)營算力成本高昂。訓(xùn)練階段，目前業(yè)界測算ChatGPT訓(xùn)練成本約為1000萬美元，為研發(fā)擁有部分ChatGPT能力的大模型，至少需要上千張A100訓(xùn)練卡。運(yùn)營階段，ChatGPT云計(jì)算成本每日約200萬美元。二是缺乏大規(guī)模并行計(jì)算工程能力。滿足大模型訓(xùn)練的算力需求不僅需要數(shù)量巨大的高性能GPU，更需要面向人工智能高度優(yōu)化的云計(jì)算平臺和相應(yīng)的工程能力。三是采購國外先進(jìn)GPU受限，國產(chǎn)算力尚未成熟到支撐大模型研發(fā)。國產(chǎn)智能芯片不僅在算力、帶寬等性能上同英偉達(dá)A100、H100芯片有差距 （這兩款都在美方對華禁售之列） ，支持自然語言處理和大模型訓(xùn)練的算子庫也不夠成熟，國產(chǎn)替代仍有軟硬適配等技術(shù)問題尚待持續(xù)優(yōu)化與解決。四是人工智能算力市場和服務(wù)市場“碎片化”加劇。全國多地主導(dǎo)建設(shè)近百個智算中心，形成一個個孤立破碎的人工智能算力和服務(wù)小市場，中國大市場優(yōu)勢被消解。缺少適合大模型研發(fā)特點(diǎn)的機(jī)制。 一是力量分散。人工智能大模型具有長周期、重投入、高風(fēng)險等特點(diǎn)。國內(nèi)企業(yè)、高校在“大模型”“大數(shù)據(jù)”“大算力”等方面各有側(cè)重，研發(fā)力量分散，資源缺乏整合，沒有與OpenAI技術(shù)實(shí)力對標(biāo)的企業(yè)。二是資金投入不足，企業(yè)受盈利壓力很難長期維持高投入。政府項(xiàng)目的支持力度與所需投入相比仍顯乏力，決策周期長。三是領(lǐng)軍人才和核心團(tuán)隊(duì)缺乏。ChatGPT團(tuán)隊(duì)共87人，絕大多數(shù)擁有世界名校學(xué)歷和知名企業(yè)工作經(jīng)歷。而國內(nèi)人工智能頂級人才分散在不同機(jī)構(gòu)中，很難形成掌握核心技術(shù)并且有強(qiáng)大工程能力和項(xiàng)目經(jīng)驗(yàn)的領(lǐng)軍人物和團(tuán)隊(duì)。
相關(guān)政策建議
人工智能大模型具有重要的戰(zhàn)略意義，是未來科技競爭的制高點(diǎn)，也是重要的智能基礎(chǔ)設(shè)施。需從戰(zhàn)略高度重視ChatGPT引發(fā)的新一輪人工智能革命，從算法、算力、數(shù)據(jù)等方面加快布局和突破，構(gòu)建包容創(chuàng)新的監(jiān)管環(huán)境，積極應(yīng)對新一輪人工智能科技競爭。 一是瞄準(zhǔn)通用人工智能“大模型”發(fā)力，加快推動大規(guī)模應(yīng)用。 基于通用數(shù)據(jù)集的大模型是人工智能走向商業(yè)化應(yīng)用落地的重要手段，將帶動新的產(chǎn)業(yè)和服務(wù)應(yīng)用范式。建議加快自然語言處理、計(jì)算機(jī)視覺以及多模態(tài)大模型攻關(guān)。同時，在細(xì)分領(lǐng)域構(gòu)筑優(yōu)勢，進(jìn)一步深耕垂直領(lǐng)域，從實(shí)際場景中積累行業(yè)數(shù)據(jù)和知識，加快孵化人臉識別、音頻生產(chǎn)、財務(wù)分析、法律服務(wù)、教育培訓(xùn)等行業(yè)大模型，逐步完善模型架構(gòu)、提升參數(shù)數(shù)量，推進(jìn)應(yīng)用落地。 二是整合“大數(shù)據(jù)”，聚焦打造專業(yè)數(shù)據(jù)服務(wù)。 訓(xùn)練大模型需要優(yōu)質(zhì)的大數(shù)據(jù)集合，有些數(shù)據(jù)還需要人工標(biāo)注。收集和清洗數(shù)據(jù)是一項(xiàng)耗時較長的基礎(chǔ)性工作，其質(zhì)量直接決定模型的智能程度。建議加快推動數(shù)據(jù)資源整合共享和開發(fā)利用。ChatGPT的成功因素之一是擁有大量的優(yōu)質(zhì)訓(xùn)練數(shù)據(jù)。我國具備海量數(shù)據(jù)和豐富應(yīng)用場景，建議進(jìn)一步促進(jìn)圖書、期刊和傳統(tǒng)行業(yè)的優(yōu)質(zhì)數(shù)據(jù)開放，激發(fā)數(shù)據(jù)要素活力。制定政府公共數(shù)據(jù)資源開放清單，開展數(shù)據(jù)資源開放試點(diǎn)，優(yōu)先開放高價值、低敏感、數(shù)據(jù)量大的民生公共數(shù)據(jù)，逐步開放公共數(shù)據(jù)庫、專業(yè)數(shù)據(jù)庫等。培育專業(yè)數(shù)據(jù)服務(wù)商，培育壯大數(shù)據(jù)采集、標(biāo)注、清洗等服務(wù)產(chǎn)業(yè)。擴(kuò)大優(yōu)質(zhì)數(shù)據(jù)供給，特別是加快推進(jìn)歷年來中文圖書、紙質(zhì)文獻(xiàn)等的數(shù)字化，搭建用于人工智能大模型訓(xùn)練的優(yōu)質(zhì)數(shù)據(jù)集，擴(kuò)大面向人工智能大模型的數(shù)據(jù)供給。 三是布局“大算力”，聚焦建立算力統(tǒng)一大市場。 充分發(fā)揮市場機(jī)制的作用，堅(jiān)決遏制低水平、不可持續(xù)、缺乏商業(yè)閉環(huán)的智算中心盲目建設(shè)，避免算力市場和人工智能服務(wù)市場的碎片化。支持圍繞云計(jì)算建設(shè)的各類行業(yè)訓(xùn)練數(shù)據(jù)集、人工智能訓(xùn)練平臺，形成從理論模型創(chuàng)新、模型工程化到場景化服務(wù)的技術(shù)和商業(yè)閉環(huán)，構(gòu)建統(tǒng)一、開放、有序的人工智能產(chǎn)業(yè)大生態(tài)。建立人工智能計(jì)算資源共享名錄，支持各省市超算中心、算力平臺、行業(yè)訓(xùn)練數(shù)據(jù)集、人工智能訓(xùn)練平臺等人工智能基礎(chǔ)設(shè)施資源開放共享。 四是支持以頭部企業(yè)為主體，推動形成人工智能“大模型”攻堅(jiān)合力。 加大對頭部企業(yè)開展大模型核心技術(shù)攻關(guān)的支持力度，發(fā)揮重點(diǎn)企業(yè)和研究機(jī)構(gòu)的數(shù)據(jù)、算力、算法和人才優(yōu)勢，聯(lián)合產(chǎn)業(yè)鏈上下游企業(yè)、高校院所、新型研發(fā)機(jī)構(gòu)，協(xié)同開展科研攻關(guān)，加快推出國產(chǎn)大模型拳頭產(chǎn)品。五是實(shí)施包容審慎的監(jiān)管，為新生事物發(fā)展留足空間。 類ChatGPT產(chǎn)品作為新生事物，不可能十全十美，鼓勵發(fā)展是主旋律。ChatGPT初期也會不斷“犯錯誤”，但其自身也逐步建立了技術(shù)機(jī)制，針對內(nèi)容、倫理等相關(guān)風(fēng)險進(jìn)行了過濾與阻斷，經(jīng)過用戶反饋、專家機(jī)制優(yōu)化迭代后逐步成熟完善。依托優(yōu)良的網(wǎng)絡(luò)環(huán)境，豐富的內(nèi)容治理經(jīng)驗(yàn)，以及完善的AI監(jiān)管框架，我國完全具備對于以ChatGPT為代表的人工智能大模型技術(shù)治理自信。因此，面對可能出現(xiàn)倫理、數(shù)據(jù)、輿情等風(fēng)險，要建立容錯機(jī)制，實(shí)行沙盒監(jiān)管和敏捷治理，實(shí)現(xiàn)規(guī)范與發(fā)展的動態(tài)平衡。
關(guān)鍵詞：
責(zé)任編輯：Rex_23
