上海AI实验室发布“书生·浦语”大模型：在高考等评测中表现优秀

·“书生·浦语”联合团队选取了20余项评测对其进行检验，其中包含全球最具影响力的四个综合性考试评测集，对“书生·浦语”、清华大学的GLM-130B、Meta的LLaMA-65B、OpenAI的ChatGPT和GPT-4进行了全面测试。

6月7日，上海人工智能实验室（上海AI实验室）、商汤科技联合香港中文大学、复旦大学及上海交通大学发布千亿级参数大语言模型“书生·浦语”（InternLM），具有1040亿参数，在多项中文考试中取得超越ChatGPT的成绩，在数学考试中成绩明显领先于谷歌、Meta的大模型。

“书生·浦语”联合团队选取了20余项评测对其进行检验，其中包含全球最具影响力的四个综合性考试评测集：由伯克利加州大学等高校构建的多任务考试评测集MMLU；微软研究院推出的学科考试评测集AGIEval（含中国高考、司法考试及美国SAT、LSAT、GRE 和 GMAT等），AGIEval的19个评测大项中有9个大项是中国高考，通常也列为一个重要的评测子集AGIEval（GK）；由上海交通大学、清华大学和爱丁堡大学合作构建的面向中文语言模型的综合性考试评测集C-Eval；以及由复旦大学研究团队构建的高考题目评测集Gaokao。

实验室联合团队对“书生·浦语”、清华大学的GLM-130B、Meta的LLaMA-65B、OpenAI的ChatGPT和GPT-4进行了全面测试，针对上述四个评测集的成绩对比如下（满分100分）。

“书生·浦语”、GLM-130B、LLaMA-65B、ChatGPT和GPT-4的测试结果。

据上海人工智能实验室消息，“书生·浦语”全面评测结果显示，其在知识掌握、阅读理解、数学推理、多语翻译等多个测试任务上表现优秀，在综合性考试中表现突出，在多项中文考试中取得超越ChatGPT的成绩，其中就包括中国高考各科目的数据集（GaoKao），在以美国考试为主的MMLU上和ChatGPT基本持平。

为了避免“偏科”，研究人员通过多个学术评测集，对“书生·浦语”等语言模型的分项能力进行了评测对比。结果显示，“书生·浦语”不仅在中英文的阅读理解方面表现突出，并且在数学推理、编程能力等评测中也取得了较好的成绩。

分项能力的评测对比。

在英语阅读理解方面，“书生·浦语”明显领先于LLaMA-65B和ChatGPT，“书生·浦语”在初中和高中英语阅读理解中得分为92.7和88.9，⽽ChatGPT得分为85.6和81.2，LLaMA-65B则更低。在数学推理方面，“书生·浦语”在GSM8K和MATH这两项被广泛用于评测的数学考试中，分别取得62.9和14.9的得分，明显领先于谷歌的PaLM-540B（得分为56.5和8.8）与LLaMA-65B（得分为50.9和10.9）。

但在测评中也可以看到，大语言模型仍然存在能力局限。“书生·浦语” 受限于2K的语境窗口长度（GPT-4的语境窗口长度为32K），在长文理解、复杂推理、撰写代码以及数理逻辑演绎等方面还存在明显局限。另外，在实际对话中，大语言模型还普遍存在幻觉、概念混淆等问题。这些局限使得大语言模型在开放场景中的使用还有很长的路要走。