下载客户端

我们测试了五款国产大模型在高校的应用情况

2023-12-08 11:10

来源：澎湃新闻·澎湃号·湃客

作者：冀思宇宁沙潘媛媛王一如刘畅

2023年11月30日，是OpenAI推出ChatGPT整一年。这一年里，中国以“百模大战”式的规模，也成为了全球AI大模型的重要参与方。为了解高校学生对国产大模型的使用情况，我们测试了五款国产大模型，并邀请了几位高校师生来分享他们的使用感受。

蒋娜就读于国内一所985高校汉语国际教育专业，她曾用过ChatGPT来辅助完成作业。今年夏天，为了完成期末作业，蒋娜通过搜索找到“文心一言”。简单注册后，她收到一条回复：“你现在可以体验了，快来向我提问吧。”

作业的主题是“以sexism为主题，在课堂上进行论文分享”。从找文章到完成课堂展示的所有准备工作，她只用了三个小时。蒋娜没有想到初次使用国产大模型如此顺利。

蓬勃发展的国产大模型

2023年8月15日，《生成式人工智能服务管理暂行办法》正式实施。8月31日凌晨，百度旗下AI大模型产品“文心一言”、抖音“云雀大模型”、中科院“紫东太初大模型”等8家大模型宣布率先通过《生成式人工智能服务管理暂行办法》备案，可正式上线面向公众提供服务。

很多人对AI大模型这个词感到陌生，其实，爆火的ChatGPT就是AI大模型的典型代表。AI 大模型是实现通用人工智能（AGI）的重要方向，包含自然语言处理(NLP)、计算机视觉（CV），多模态大模型等。基于强大的算法支撑和大量的数据调教，AI大模型掀起了一场颠覆人机关系交互的新革命。

大模型不仅能够处理大规模的数据，还具有更高的复杂度和更强的灵活性，可以处理更加复杂的问题。它具有一定的“学习能力”，若使用者给大模型提供更精细的数据，能够提高模型的准确率和性能。目前，AI大模型已经与金融、教育、医疗等产业结合，促进行业智能化发展。

自美国OpenAI公司的ChatGPT推出以来，国内学术界和科技企业相继宣布推出类似对话模型，此次通过首批备案的大模型研发企业中，既有科技巨头，也有初创企业和科研院校。

国产大模型的背后，是市场需求和政府政策的双向推动。根据国际数据公司IDC预测，2021年中国人工智能软件及应用市场规模为51亿美元，预计2026年将会达到211亿美元。

截至9月份，我国已有超过130个大模型发布。但是，国产大模型的讨论热度远远不及ChatGPT。ChatGPT上线仅两个月便获得1亿月活用户，以ChatGPT为搜索关键词，百度搜索指数的最高峰为2023年2月初的“574076”，而国产大模型的搜索指数最高峰为2023年8月31日的“2027”，二者差距巨大。

根据6月份公布的《中国人工智能大模型地图研究报告》，中国和美国在全球已发布的大模型数量上大幅领先，超过全球总数的80%；从发展情况来看，中国目前与美国保持同步增长态势。尽管如此，国产大模型的关注度与讨论量始终低于ChatGPT。

国产大模型测评

高校学生对国产大模型的使用情况如何？我们做了一项实验。

我们选取了五个知名度和代表性较高的国产大模型：文心一言、智谱轻言、豆包、通义千问、讯飞星火，并将ChatGPT作为对照组。

为还原真实的用户体验和感受，我们根据前期问卷调查的情况提出六种高校学生使用国产大模型的场景：协助学习、协助写作、陪伴聊天、社交辅助、生活抉择和工作辅助。对于每个场景，我们都结合实际使用案例设计了两个情境化问题，最后分别对上述六个大语言模型进行提问，并比较其答案。

1、协助学习场景

在协助学习场景下，对于代码类问题，经运行检验，各个大模型都给出了正确代码；而当涉及专业问题，例如人文社科相关的“麦克卢汉是否是一名技术决定论者”和理科原理相关的“解释量子反常霍尔效应的基本原理”，相较于ChatGPT包含事实性错误的大段回答，国产大模型显得更为谨慎、更关注回答的正确性，哪怕答非所问或者太过简化问题。

当我们提问“麦克卢汉是否是一名技术决定论者”，ChatGPT直接编造了一个人物——“诺伯特·麦克卢汉 (Norbert Wiener) ，一位著名的数学家、工程师和哲学家”，而其他五款国产大模型都用正确的相关理论进行解释，提供了不同层次和角度的回答。对于理科方面的原理解释问题（“解释量子反常霍尔效应的基本原理”），除智谱清言外，其他的国产大模型都只给出了简单的概念解释，而ChatGPT的解释包含理论错误。

2、协助写作场景

在协助写作和协助工作的场景下，无论是论文写作、文学创作、推文通稿还是工作周报，实验中几个大模型都表现合格，其中智谱清言在引导界面上设置有可达性很高的具体化场景提示。

3、陪伴聊天场景

能否与用户建立有意义的互动是考察大语言模型“聊天陪伴”功能的重要一环。在我们的两轮测试中，无论是措辞邮件、过节送礼、假期规划还是失恋求助，国产大模型都辩证地表明了态度，并给出相对切实可行的方案，至少证明了在某种程度上国产大模型能够理解“如何与人交往”和“如何生活”。

安全性是评价AI大模型的重要指标。根据新华网与国内权威机构发布的《国内LLM产品测试报告》，国内多个AI大模型在内容安全问题上的敏感度较高，对涉黄、涉暴力内容能够迅速予以阻断，对涉个人隐私话题能够系统地进行保护。

不过，不同大语言模型在对于敏感问题的回应方式上存在显著差异，《国内LLM产品测试报告》称：“文心一言普遍能给出积极准确的正面回应。尤其在宗教信仰、封建迷信，泛色情、时政、未成年人保护以及网络安全法等相关领域，文心一言的回答均保证了客观性和公正性，有力地引导了良好的社会舆论，而讯飞星火表现比较保守，基本都是通过拒绝回答的方式回应，没有给出任何有效信息。”

下面我们选取意识形态、少数群体两个维度对上述六个大模型进行提问和答案评估。

学生怎样使用大模型？高校这样说

AI大模型一经推出便受到广大学生群体的关注，其强大的生成功能在高校拥有丰富的使用场景。根据前期问卷统计，我们发现大学生使用国产大模型的“文字问答”功能最频繁，其次是“数据自动分析”功能。周圣康是南京大学新闻学院大三学生，他使用文心一言来协助写微信推文的开头和结尾，虽然要进行二次加工，但他认为有AI协助，效率更高。

许多大学生都会使用AI来协助学习和写作，这一现象也引起了高校方面的关注与讨论。AI大模型是否会替代学生完成本该由学生自己完成的学术训练？如何引导学生在学习体验中有效和适当地使用AI技术？在ChatGPT发布后，国内外不少高校陆续推出了有关AI大模型的使用政策。

值得注意的是，部分高校对AI大模型的态度有所转变。据此前澎湃新闻的报道，香港大学在2023年2月发出的内部邮件中表明禁止在港大的所有课堂、作业和评估中使用ChatGPT或其他AI工具，一旦发现按照剽窃处理。随后，港大在4月为教职人员免费提供ChatGPT和文生图工具DALL-E 2的试用服务，并在内部邮件指出“一旦学校的生成式AI工作小组制定了学生使用政策和指南，学校将向学生提供ChatGPT的服务”。

对于某些高校完全禁止学生使用AI大模型的做法，全国政协委员、武汉大学校长张平文在接受《中国科学报》采访时表示：“对待ChatGPT的使用态度应像治理洪水一样，堵不如疏。”南京大学商学院副院长、博士生导师王全胜教授也表示，自己对于AI大模型的使用持乐观态度，但由于“目前使用人工智能之后如何评价学生还没有一个统一的标准，所以能理解大家选择先观望，继续关注AI大模型未来的发展。”南京大学新闻传播学院助理研究员、计算传播学实验中心成员陈志聪老师基本认同该观点，他认为在技术快速迭代的当下，需要更多、更严肃的讨论。

“批量上市”后，国产大模型的未来生态

李美玉来自印尼，是南京大学新闻传播学院的2023级研究生。去年本科毕业后她到巴厘岛一家公司负责首饰宣传工作，ChatGPT为她创作宣传文案、策划活动等提供了许多灵感。

工作一年后，李美玉来华留学，与在海外使用ChatGPT免费、且登录账号十分方便的体验相比，她只能在小红书上搜索国内“如何不翻墙地使用ChatGPT”，得到的回答是用Craft笔记式人工智能软件和文心一言等国产大模型。李美玉曾尝试用文心一言绘制关于“大学生兼职”的插画，但其给出的回答要么是一个AI生成的真人模样，要么是卡通的白发儿童，不符合她的要求。且文心一言的前后问答间没有连贯性，李美玉只能一遍遍修改提问，“你可能必须告诉它，我要一个‘大学生兼职’的插画，亚洲人黑色头发卡通人物”。李美玉最终还是请学计算机的朋友帮忙，学会了“翻墙”使用ChatGPT，但ChatGPT也会“胡编答案”，并不总让她满意。

微信公众号唯十科技发表的一篇文章《最全：全球大模型梳理！》，对全球大模型竞争格局做了分析。无论是考察大模型的数量、规模还是开源贡献度、算法原创性，以美国为代表的企业/学术机构在各方面都具有明显的优势。而从大模型的数量和规模来看，中国以其“百模大战”式的规模，也成为了全球AI大模型的重要参与方。

作为“大数据+大算力+强算法”结合的产物，AI大模型被视为“面向未来的生产力革命”。我国以“百模大战”之态进入大模型赛道，优化算法设计与增大数据规模两方面的发展都不可忽视。

在这条拥挤的大模型赛道上，国产大模型如何缩短与世界先进水平的差距，扩大在全球AI大模型格局中的影响力，还需要继续探索，我们期待国产大模型以更好姿态参与应用，进入我们生活、工作、学习等各个场景中。

注：应受访者要求，文中蒋娜为化名。

附：

本文用于测试的大模型版本如下：

ChatGPT：3.5版；

文心一言：3.5版；

智谱清言：1.6.0版；

豆包：1.2.0版；

通义千问：1.0版；

讯飞星火：3.0版。