2023世界人工智能大會(huì)期間，有人直言，沒有大算力做大模型就是天方夜譚。但也有人認(rèn)為，數(shù)據(jù)要素在人工智能大模型的發(fā)展中具有關(guān)鍵性作用，決定了模型的訓(xùn)練質(zhì)量、性能表現(xiàn)和應(yīng)用領(lǐng)域的廣度與深度。
(資料圖片)
全球大模型群雄逐鹿，算力最先告急。今年5月29日，英偉達(dá)創(chuàng)始人黃仁勛斷言，“我們已經(jīng)達(dá)到生成式AI引爆點(diǎn)，從此全世界的每個(gè)角落都會(huì)有算力需求”。一天后，英偉達(dá)市值突破萬億美元，屹立世界之巔。
人們常把算力、算法、數(shù)據(jù)形容為人工智能的三駕馬車，但這三駕馬車之間可能也不是完全的并行關(guān)系。如果說算力是大模型的“根”，那數(shù)據(jù)或者說是高質(zhì)量的語料庫，或許就會(huì)成為算力的“根”。
一熱一冷
大模型浪潮，率先將算力推至風(fēng)口浪尖。2023世界人工智能大會(huì)上，算力成為大模型絕對(duì)的關(guān)鍵詞之一。中國(guó)工程院院士、鵬城實(shí)驗(yàn)室主任高文把算力比作電力，認(rèn)為沒有大算力做大模型就是天方夜譚。華為輪值董事長(zhǎng)胡厚崑也提到，大模型訓(xùn)練的效率或者是創(chuàng)新的速度，根本上取決于算力的大小。中國(guó)的算力已經(jīng)成為一個(gè)越來越稀缺的資源。
大會(huì)期間，畢馬威與聯(lián)想集團(tuán)聯(lián)合發(fā)布《普慧算力開啟新計(jì)算時(shí)代》報(bào)告。畢馬威中國(guó)數(shù)字化賦能主管合伙人張慶杰在解讀報(bào)告時(shí)提到，算力供給增速明顯難以滿足指數(shù)式爆發(fā)的需求，儲(chǔ)備算力成為各行各業(yè)的必要舉動(dòng)。
據(jù)了解，深度學(xué)習(xí)出現(xiàn)之前，用于AI訓(xùn)練的算力增長(zhǎng)大約每20個(gè)月翻一番；之后，用于AI訓(xùn)練的算力大約每6個(gè)月翻一番；2012年后，全球頭部AI模型訓(xùn)練算力需求更是加速到每3-4個(gè)月翻一番，即平均每年算力增長(zhǎng)幅度達(dá)到驚人的10倍；目前大模型發(fā)展如火如荼，訓(xùn)練算力需求有望擴(kuò)張到原來的10-100倍，算力需求的指數(shù)級(jí)增長(zhǎng)曲線將更加陡峭。
大模型對(duì)算力的需求是顯而易見的，但更關(guān)鍵的點(diǎn)可能在于是否能把算力更高效地挖掘出來。一家芯片企業(yè)的技術(shù)人員對(duì)北京商報(bào)記者提到，一個(gè)模型上線需要用到很多硬件，如果只支撐了少量用戶，就會(huì)因?yàn)樘F導(dǎo)致用戶不買賬，由此撐不起正向循環(huán)的情況，但太便宜又會(huì)出現(xiàn)虧本的問題。特別是到落地階段，如何能夠結(jié)合模型上的一些改進(jìn)，把硬件的特性最大程度地發(fā)揮出來，就會(huì)變得非常重要。
“也就是說在訓(xùn)練階段，大家對(duì)算力的追求可能是‘大’，這一方面能夠做出更大的模型，另一方面也能夠進(jìn)行更快速的迭代。但到用戶開始接受這個(gè)效果的時(shí)候，就要涉及到怎樣做才能更劃算的問題，也就是說在部署階段，可能要更關(guān)注‘精’的問題，盡可能用相對(duì)少的算力實(shí)現(xiàn)最大程度的作用?！鄙鲜黾夹g(shù)人員說道。
大會(huì)期間，比起對(duì)算力的探討，數(shù)據(jù)就顯得有些“冷清”了?！皵?shù)據(jù)要素比大模型早好幾年，大模型被‘炒’起來了，但數(shù)據(jù)要素卻一直不溫不火。”7月8日，在2023世界人工智能大會(huì)“大模型時(shí)代下的數(shù)據(jù)要素流通”論壇的主題演講中，拓爾思總裁施水才開場(chǎng)便提出了這樣一種現(xiàn)象，在他看來，這場(chǎng)論壇為人們認(rèn)識(shí)數(shù)據(jù)要素流通提供了一個(gè)新的視角。
機(jī)遇與挑戰(zhàn)
在上述論壇上，中國(guó)知網(wǎng)副總經(jīng)理張宏偉表示，數(shù)據(jù)是人工智能的基石，數(shù)據(jù)的質(zhì)量和數(shù)量最終決定人工智能水平高低，影響其安全性、可信性。施水才更是認(rèn)為，高質(zhì)量數(shù)據(jù)才是大模型價(jià)值躍遷的制勝法寶。
但當(dāng)下的問題在于，數(shù)據(jù)并不都是高質(zhì)量的。過去一段時(shí)間，一度出現(xiàn)“AI正在污染中文互聯(lián)網(wǎng)”的討論，而AI最讓人詬病的就是“幻覺”問題，也就是人們常說的“一本正經(jīng)地胡說八道”。
大模型“幻覺”也是人工智能大會(huì)期間被提到的高頻詞匯。施水才對(duì)北京商報(bào)記者提到，“幻覺”問題的出現(xiàn)，主要是因?yàn)榇竽Ｐ腿狈碚摰闹?，因?yàn)槠浜诵募夹g(shù)原理主要就是Transformer架構(gòu)下的Next Token Prediction，即“下一個(gè)字符的預(yù)測(cè)”。另一方面大模型并不是越大越好，數(shù)據(jù)也不是越多越好，真正好的大模型是參數(shù)大小適中，數(shù)據(jù)高質(zhì)量。
算力可以堆硬件，相比起來，優(yōu)質(zhì)數(shù)據(jù)的供給可能會(huì)復(fù)雜得多。中國(guó)電子副總經(jīng)理陸志鵬提到，大模型技術(shù)實(shí)現(xiàn)高質(zhì)量發(fā)展，數(shù)據(jù)有效供給是關(guān)鍵，急需建設(shè)安全可信的數(shù)據(jù)底座。當(dāng)前數(shù)據(jù)合規(guī)確權(quán)、計(jì)量估價(jià)、協(xié)調(diào)分配、安全隱私保護(hù)等核心難題需要破解。
在接受北京商報(bào)記者采訪時(shí)，上海數(shù)據(jù)交易所副總經(jīng)理韋志林提到，從推動(dòng)數(shù)字經(jīng)濟(jì)，推動(dòng)數(shù)據(jù)作為生產(chǎn)要素的角度看，數(shù)據(jù)應(yīng)該是最核心、最長(zhǎng)遠(yuǎn)、最基礎(chǔ)性的因素?！按竽Ｐ偷念A(yù)訓(xùn)練對(duì)數(shù)據(jù)要求也特別高，必須在前期進(jìn)行清洗、標(biāo)注、標(biāo)識(shí)，但圍繞千行百業(yè)的數(shù)據(jù)訓(xùn)練，在數(shù)據(jù)供給方面也呈現(xiàn)出了許多問題和挑戰(zhàn)?！?/p>
首要的就是頭部廠商并不愿意開放數(shù)據(jù)。數(shù)據(jù)是生產(chǎn)要素，數(shù)據(jù)有價(jià)值，這些已經(jīng)達(dá)成共識(shí)，但進(jìn)行數(shù)據(jù)共享就一定會(huì)牽扯到安全問題，如何解決數(shù)據(jù)在共享過程中的安全機(jī)制至關(guān)重要。而數(shù)據(jù)的開放流通，也自然涉及收益分配，且數(shù)據(jù)流通過程中創(chuàng)造的新價(jià)值更多服務(wù)于企業(yè)內(nèi)部，拿出去的動(dòng)力還需進(jìn)一步培育。
“所以從數(shù)據(jù)流通本身看，更多壓力還存在供給側(cè)這一方面，需要解決供給側(cè)產(chǎn)權(quán)制度問題、收益分配制度問題、安全問題、基礎(chǔ)設(shè)施問題等，讓數(shù)據(jù)流通更加便捷、更加合規(guī)。”韋志林表示，上海數(shù)據(jù)交易所作為國(guó)家戰(zhàn)略的承接者，需要解決的就是這些問題。
據(jù)了解，7月8日，上海數(shù)據(jù)交易所啟動(dòng)語料數(shù)據(jù)生態(tài)創(chuàng)新合作伙伴計(jì)劃，而在此前一天，上海數(shù)據(jù)交易所官網(wǎng)剛剛正式上線語料庫，累計(jì)掛牌近30個(gè)語料數(shù)據(jù)產(chǎn)品，包含文本、音頻、圖像等多模態(tài)，覆蓋金融、交通運(yùn)輸和醫(yī)療等領(lǐng)域。
關(guān)鍵詞：
責(zé)任編輯：Rex_10
