谁在给大模型打分？

当新生态挤满跃跃欲试选手，球场上的裁判顺势而生。

5月，中国科技部主管的中国科学技术信息研究所，发布《中国人工智能大模型地图研究报告》。内容显示，截止到5月28日，中国10数亿级主要参数规模以上企业基本大模型最少已公布79个。

每一个现身时，都离不开“全球领先”“技术创新”类似这样的标识。免不了招来怀疑：怎样直接地评定哪一款大模型在研发和性能上更加非凡？这些声称“第一”的评价标准与信息来源是怎么样的呢？

一把考量不一样实体模型效率标准的“直尺”亟需打造出。

前段时间，国际咨询公司IDC公布《AI大模型技术能力评估报告2023》，调研了9家我国市场主流大模型技术性生产商。别的许多科研机构与团队也资金投入网络资源，发布相对应的评判标准和深度报告。其背后所显出的情况和发展趋势，非常值得更深层次的讨论。

实测标准家喻户晓

ChatGPT 带火了大模型运用的有关研究，实测标准亦变成关注焦点所属。

此前，微软亚洲研究院公布了详细介绍大模型实测领域内的综述文章《A Survey on Evaluation of Large Language Models》。依据统计数据显示（见下图），大模型实测层面文章中的发布逐年上升，越来越多科学研究紧紧围绕设计方案更全面、更强衡量、更精准的实测方法来对大模型能力开展全面的了解。

原文中一共列出19个受人欢迎基准测试，每一个都偏重于不同类型的层面和评价标准，向其分别的行业带来了珍贵的奉献。为了方便汇总，研究者把这些基准测试分为两种：通用性标准（General benchmarks）和实际标准（Specific benchmarks），其中就有一些深具盛誉大实体模型标准。

Chatbot Arena，便被业内人士广泛认为是极具公平公正与普遍接受程度的渠道。背后的八卦掌——LMSYS Org，是一个开放式的科学研究机构，由加州大学伯克利分校、美国加州大学圣地亚哥分校和卡内基梅隆大学协作开创。

这一突破性的评价标准，为各种AI科研机构与技术爱好者，提供了一个既与众不同且具有猛烈核心竞争力的场地，专门用来评估和核对不一样闲聊智能机器人模型具体运用效果。用户可以与这其中的密名数据进行即时交流，然后根据在线投票系统表述他们对某一模型满意率或爱好。

值得一提的是，该实测方法的灵感来源于于象棋等竞技类游戏中流行的ElO评分标准。根据积淀很多的消费者网络投票，它可以更加切合具体情景地评定各模型整体表现。

微软亚洲研究院仍在原文中提及了通用性标准C-Eval，这是一个全方位的中文基本模型评估模块。这其中包括了13948个多选题，包括了52种不同的课程和四个难度系数等级，此项目由上海交大、清华、爱丁堡学校互相配合。

除开通用性任务基准测试外，还存在一些致力于一些中下游任务设计的实际基准测试。

例如，MultiMedQA是一个医药学互动问答基准测试，密切关注医疗检查、医学临床研究与消费者身体问题。该标准由谷歌搜索和DeepMind的科技人员明确提出，主要包括七个与医药学互动问答有关的数据，主要包括六个已有的数据和一个新的数据。测试目标是评定大语言模型在治疗知识与互动问答能力水平性能。

还有一些汉语实测标准被微软研究院所忽略。比如SuperCLUE，做为对于汉语可利用的通用性大模型的一个专业测评标准，由来源于中文语言了解专业测评标准开源项目CLUE中的一员进行。

为了能紧紧围绕综合考核大模型能力，使之能全方位地检测大模型效果，又可调查实体模型在汉语上独有每日任务的理解积淀，SuperCLUE从三个不同类型的层面评价指标体系能力：核心能力、专业技能和汉语特点水平。

事实上，这种层面仅仅冰山一角。在实测 LLMs 性能时，选择适合自己的目标和行业针对展现大中型语言模型的表现、优势与劣势尤为重要。微软亚洲研究院将已有的每日任务区划为了能7种不同的类型：

自然语言理解：包含自然语言处理、逻辑推理、自然语言生成和多语种每日任务；

可扩展性、伦理道德、成见和真实有效；

医药学运用：包含医药学互动问答、医考、临床医学和医药学小助手；

人文科学；

当然科学与工程：包含数学课、通用性科学与工程项目；

代理商运用：将 LLMs 做为代理商应用；

其他软件。

纵览现阶段AI行业的发展方向，大模型的实测基准测试不会再仅仅是一个单一的技术内容，反而是正在逐渐成为整个行业产业链中的重要配套设施。

准确地应用“直尺”

存在即是合理。

大模型实测标准的出现和不断优化，往往展现出越来越激烈的势头，毫无疑问与其说能够带来了巨大的价值与业内的普遍认可是息息相关的。

能够看见，根据深层次大实体模型实测标准剖析，可以更加清晰和系统化揭露大模型在各类运用场景下的优点和局限。这类技术专业评估既为AI行业的开发者带来了清楚的具体指导，并且也助推客户最后做出更加明智的选择技术途径。

在繁杂的研究过程中，分辨技术规范或特殊模型优势通常是一个考验。C-Eval数据及与有关排行榜，实际意义不单单是一系列的数据或排行，反而是为大模型的开发人员提供了一套客观性、全面的评价工具。

用C-Eval项目组的话说，“大家的一个重要目的在于协助模型开发”。

具体而言，研发部门可以和公司密切合作，把大实体模型实测标准集成到他的开发和测试工作内容中。这甚至可以在具体应用领域中认证模型特性，还可以通过彼此之间的深度交流，寻找在测试过程中可能会遇到的瓶颈问题与挑战，以此来实现更加有效和准确的模型优化。

就是基于这一点，好几家头顶部大模型生产商不但在实体模型研发上持续投入，也在实测标准的确立和优化上下足功夫。

例如讯飞科技根据认知智能全国各地重点实验室带头制定了通用性认知能力大模型实测管理体系，遮盖7类别481个细分化操作类型；阿里巴巴达摩院多语种NLP精英团队发布第一个多语种跨模态检测标准M3Exam，共包含12317道题型，等。

但也如同C-Eval项目组所谈到的：针对大模型生产商，简单地追寻榜单的上位排行，并不可变成其核心追寻。

当厂家将排行榜考试成绩做为主要目标时，可能为追求高分数而使用过度拟合榜单的对策，那样就容易损害模型普遍适用范围。更加重要的就是，若只是紧紧围绕排行，生产商很有可能为了能短期内的名次而尝试探寻近道，进而违反了真真正正脚踏实地的科研态度与价值观念。

再看一遍终端产品用户的角度中，大模型测评标准提供了一个全方位的、结构化参照架构，进而全面地协助客户在诸多技术性列表中作出更加理智明智的选择管理决策。这类实测不但减少了技术性采取风险，也保证了用户可以从选定分析中取得最好的投资收益率。

尤其是对于这些还没有着浓厚大模型研发能力企业来说，全面了解大模型的专业技术界限，并能对于个人需求有效地开展技术选型，是十分重要的。

综上所述，无论是针对其背后的研发部门或是产品侧的终端产品用户，大模型实测标准都背负着难以估量价值意义。

劣币来临

荒缪是指，因为在基本原理关键上并不属于繁杂的技术门槛，造成目前市面上的大模型实测标准的总数，乃至已经超过大模型自身。这当中必然有很多组织遇见了机会，进行相应的销售市场实际操作，包含混淆是非、误导消费的举动。

先前就会有分析认为，伴随着AI技术发展，大模型实测有可能被一些企业或组织作为推广工具，根据公布其实体模型的好成绩实测结论去吸引群众注意力，以求提升产品市场占有率。

现阶段也有一些显著的状况证明：在某些特殊实测榜单上领先的生产商，放进别的不同类型的排行榜实测中，却并未可以维持其主导地位。

无法证明存在客观因素。现阶段环节，针对大模型的评价机制和实际实测指标值，没有达到一个行业的共识，更不要说发生统一的测评规范。不同类型的应用场景工作任务规范，会产生完全不同点评框架和要求。

除此之外，大模型实测一般取决于两个关键方式：全自动实测与人工实测。全自动实测都是基于精准的算法设计和一系列形式参数指标开展，而人力实测大量注重人们权威专家主观看法、工作经验和品质判断。

碰到大模型形成诗文或小短文这种任务后，人力实测的主观越来越尤其明显。自古以来“文无第一，武无第二”，不同类型的审查者可能对同一著作得出不一样的描述。

但是，从搜索推荐结论中不难看出，大模型实测已经被一些生产商视作一个广告营销试炼场。因为在一个竞争白热化市场里，每一个生产商都希望自己的商品可以出类拔萃。

因而有足够的动因去尽量选择可以显出自身品牌优势的测评指标值，而忽视这些很有可能曝露薄弱点指标。这类选择地展现，即便还有机会产生短期渠道优势，可是对于消费者整个企业来说，必定是不利的。

一时的欺诈一旦偏离了市场竞争布局，将会促使真真正正有意义的自主创新被淹没。内部规模经济下，这些仅仅是为了宣传策划所进行的“自主创新”反倒会爱不释手。

从这点考虑，大模型实测标准还是要重归其实质，即为了能更好地了解和分析不一样模型特性，为产品研发者与终端产品用户给予意见反馈，并不是为了商品厂家的短期内权益。

即然想当裁判，或是一定要做到单独、客观性、第三方。

参考文献：

微软研究院《A Survey on Evaluation of Large Language Models》

机器之心《13948道题目，涵盖微积分、线代等52个学科，上交清华给中文大模型做了个测试集》