首頁 >國內 >

每日速訊:第十屆ASC超算總決賽:挑戰(zhàn)179億參數(shù)大模型訓練


(資料圖片)

5月10日,第十屆ASC世界大學生超級計算機競賽總決賽在中國科學技術大學落下帷幕。北京大學、中國科學技術大學分獲冠亞軍,中國科學技術大學獲e Prize計算挑戰(zhàn)獎,浙江大學獲最高計算性能獎。

正式決賽的首日,24支隊伍向AI語言大模型、超級團隊賽和HPL&HPCG基準測試三道賽題展開比拼。

據(jù)悉,本屆比賽e Prize計算挑戰(zhàn)獎的指定賽題是AI語言大模型。ASC組委會提供了100GB高質量中文數(shù)據(jù)集,要求參賽隊基于此數(shù)據(jù)集分別實現(xiàn)15億、179億參數(shù)的2個AI語言大模型。參賽隊需要自行設計模型訓練策略并完成模型訓練過程,在追求極致性能的同時,還要滿足精度約束等嚴苛條件,使得這道賽題極具挑戰(zhàn)性。

南方科技大學代表隊表示,“前期我們研究了很多大模型相關論文,學習如何進行并行優(yōu)化、主流分布式訓練框架等。但是拿到這個賽題時還是非常驚訝,179億參數(shù)的模型真的很大,對顯存、GPU等資源及并行計算優(yōu)化的要求遠遠超出我們的預期?!?/p>

據(jù)介紹,本屆超級團隊賽由24支隊伍通過抽簽組成4個超級團隊,每個超級團隊需包含一支線上參賽隊伍,以跨團隊合作的形式共同完成決賽首日公布的量子線路采樣模擬的賽題。

隨機量子線路的采樣問題因為其巨大的經典模擬復雜度被認為是展示量子計算優(yōu)越性的最佳候選者。2019年谷歌量子人工智能團隊發(fā)表基于懸鈴木量子芯片的隨機量子線路采樣實驗,宣稱其經典模擬時間需要花費超算一萬年,而量子實驗僅需200秒,因此展示了量子優(yōu)越性。

本屆比賽的賽題是通過一個基于張量網(wǎng)絡的算法來模擬53比特12循環(huán)的懸鈴木量子線路,并計算谷歌實驗中采樣出來的1024個末態(tài)比特串樣本的嚴格振幅以及這些樣本的隨機交叉上熵保真度。相較于傳統(tǒng)的模擬算法,基于張量網(wǎng)絡的量子線路模擬方法能夠大大加速模擬的過程,將谷歌宣稱的一萬年模擬時間縮短到數(shù)十秒,達成超過10億倍的性能提升。量子線路的高效經典模擬方法能夠幫助人們對量子計算優(yōu)越性有一個更為清晰的認知,與此同時也能助力量子硬件以及量子實驗的設計、測試以及驗證。

在HPL計算基準性能測試中,浙江大學以每秒109萬億次浮點運算性能的佳績名列榜首。他們設計搭建了“1機8卡”異構加速系統(tǒng),在3000W總功耗約束下,將更多功耗分配給GPU進行應用運算,并結合精細的控制優(yōu)化,實現(xiàn)整體系統(tǒng)109萬億次/秒的HPL持續(xù)浮點運算性能。

ASC超算競賽采用國際最通用的超級計算機浮點性能基準測試程序HPL,這也是全球超算TOP500排行的主要依據(jù)。ASC競賽規(guī)則要求各參賽隊伍自行設計超算系統(tǒng),在總功耗3000W約束下正確完成包括HPL計算性能基準測試在內的各項計算任務。

ASC世界大學生超級計算機競賽是由中國發(fā)起組織,并得到亞洲及歐美相關專家和機構支持,旨在通過大賽平臺推動各國及地區(qū)間超算青年人才交流和培養(yǎng),提升超算應用水平和研發(fā)能力,發(fā)揮超算的科技驅動力,促進科技與產業(yè)創(chuàng)新。ASC超算大賽迄今已舉行至第10屆,吸引超過萬名世界各國大學生參賽,是全球最大規(guī)模的超算競賽。(柯巖)

關鍵詞:

責任編輯:Rex_11