(資料圖片僅供參考)

新華財(cái)經(jīng)上海5月10日電 5月9日，中文通用大模型綜合性評(píng)測(cè)基準(zhǔn)SuperCLUE正式發(fā)布。該基準(zhǔn)測(cè)試主要關(guān)注以下問(wèn)題：中文大模型在不同任務(wù)上的表現(xiàn)如何；與國(guó)際代表性模型相比，中文大模型的表現(xiàn)達(dá)到了何種程度；中文大模型與人類表現(xiàn)相比如何等。

該機(jī)構(gòu)利用SuperCLUE測(cè)試基準(zhǔn)，對(duì)市面上主流的支持中文的通用大模型進(jìn)行了評(píng)測(cè)與排名。由于大模型會(huì)不斷迭代，所以該排行榜會(huì)定期更新，并于CLUEbenchmarks官方網(wǎng)站進(jìn)行公示。最新排名顯示，GPT-4 一騎絕塵，已經(jīng)非常接近人類的能力。國(guó)產(chǎn)大模型中訊飛科技研發(fā)的星火認(rèn)知大模型總排名第三，國(guó)內(nèi)排名第一。

該模型可通過(guò)多個(gè)層面，考驗(yàn)市面上主流的中文GPT大模型的能力。一是基礎(chǔ)能力，包括常見(jiàn)的有代表性的模型能力，如語(yǔ)義理解、對(duì)話、邏輯推理、角色模擬、代碼、生成與創(chuàng)作等10項(xiàng)能力；二是專業(yè)能力，包括中學(xué)、大學(xué)與專業(yè)考試，涵蓋從數(shù)學(xué)、物理、地理到社會(huì)科學(xué)等50多項(xiàng)能力；三是中文特性能力，針對(duì)有中文特點(diǎn)的任務(wù)，包括中文成語(yǔ)、詩(shī)歌、文學(xué)、字形等10項(xiàng)能力。

編輯：林鄭宏

關(guān)鍵詞：