此次测评首次引入人类学生熟悉的学科测试，让AI考生和三年级到高三学段的人类考生平均水平一较高下。“文强理弱”、简单题目反而错误率高等大模型普遍存在的短板集中展现在大众面前……
5月17日，北京新型研发机构智源研究院举办大模型评测发布会，正式推出智源评测体系，发布并解读了对国内外140余个开源和商业闭源的语言及多模态大模型的能力评测结果。
此次测评首次引入人类学生熟悉的学科测试，让AI考生和三年级到高三学段的人类考生平均水平一较高下。根据大模型企业在语言模型、多模态理解与生成模型以及K12学科测验上的综合表现进行评比后，阿里云、百度、字节跳动、智谱华章、百川智能跻身“优秀”行列。
与此同时，“文强理弱”、简单题目反而错误率高等大模型普遍存在的短板也集中展现在大众面前。
中文语境下国产模型接近国际一流
本次评测分别从主观、客观两个维度考察了语言模型的简单理解、知识运用、推理能力、数学能力、代码能力、任务解决、安全与价值观七大能力；针对多模态模型则主要评估了多模态理解和生成能力。
在中文语境下，国内头部语言模型的综合表现已接近国际一流水平，但存在能力发展不均衡的情况。在多模态（多模态，是指视频、语音和文本等多种信息表现形式）理解图文问答任务上，国产模型表现突出，特别是在中文语境下的文生图能力与国际一流水平差距较小。多模态模型的文生视频能力上，对比各家公布的演示视频长度和质量，美国OpenAI公司的视频大模型Sora有明显优势，其他开放评测的文生视频模型中，爱诗科技研发的国产模型PixVerse表现优异。
由于安全与价值观对齐是模型产业落地的关键，但海外模型与国内模型在该维度存在差异，因此语言模型主客观评测的总体排名不计入该单项分数。
语言模型主观评测结果显示，在中文语境下，字节跳动豆包Skylark2、OpenAI GPT-4位居第一、第二，国产大模型更懂中国用户。在语言模型客观评测中，OpenAI GPT-4、百川智能Baichuan3位列第一、第二。百度文心一言4.0、智谱华章GLM-4和月之暗面Kimi均进入语言模型主客观评测前五。
据了解，本次智源评测使用了20余个数据集、超8万道考题，包括与合作单位共建和智源自建的多个评测数据集，如中文多模态多题型理解及推理评测数据集CMMU、中文语义评测数据集C-SEM、文生图主观评测集Image-gen、文生视频模型主观评测集CUC T2V prompts等。其中，主观题4000余道，均来源于自建原创未公开并保持高频迭代的主观评测集，严格校准打分标准，采取多人独立匿名评分、严格质检与抽检相结合的管理机制，降低主观偏差的影响。
多模态理解和生成排名
多模态理解模型客观评测结果显示，图文问答方面，阿里巴巴通义Qwen-vl-max与上海人工智能实验室InternVL-Chat-V1.5先后领先于OpenAI GPT-4，LLaVA-Next-Yi-34B和上海人工智能实验室Intern-XComposer2-VL-7B紧随其后。
多模态生成模型文生图评测结果显示，OpenAI DALL-E3位列第一，智谱华章CogView3、Meta-Imagine分居第二、第三，百度文心一格、字节跳动doubao-Image次之。多模态生成模型文生视频评测结果显示，OpenAI Sora、Runway、爱诗科技PixVerse、Pika、腾讯VideoCrafter-V2位列前五。
文生图模型的客观评测指标与主观感受差异巨大，有失效的迹象，因此排名以主观评测为准；Mdjourney基本无法理解中文提示词，因此排名靠后；仅使用其官方公布的prompts和视频片段与其他模型生成的视频进行对比评测，评测结果存在一定的偏差。
“文强理弱”，小学数学题答错
当前，大模型的发展展示出了日趋接近人脑的智能特征。人们不禁好奇，大模型的“智力”是否真的超越了人类？大模型更擅长哪些学科、是否偏科？
为了仿照人类的筛选与考核方式，一众国内外大模型也在一场模型答题、教师出题并阅卷的真实考试中与人类学生上演“PK”。智源研究院院长王仲远介绍，此次在海淀区教委支持下，海淀区教师进修学校新编小学三年级至高三学段的45套试卷，覆盖语数英物化史6个学科，共计1400多道主、客观题，通过对比大模型的实际表现与教师预估的海淀学生平均水平进行比对，以此来考察大模型与人类学生的差异。其中，答案不唯一的主观题由海淀教师亲自评卷。
评测结果发现，在小学三年级到高三的学科考题面前，大模型们在综合学科能力上的表现与海淀学生平均水平仍有差距，普遍存在“文强理弱”的情况，并且对图表的理解能力不足，大模型未来仍有很大的提升空间。
例如，在一道“根据西红柿与黄瓜市场价格的折线图，列出每月黄瓜的价格”的读图题目中，仅有一家大模型给出了正确答案，连国际领先的OpenAI旗下大模型ChatGPT也答错了这道三年级数学题。
研究人员还发现了一个令人意外的结果：在初一到高三年级，大模型与人类之间的差异变化不明显。而在三年级到六年级，随着年级越低，现有大模型的表现与人类差距较大。“浅层原因是低年级的考题中图片较多，而大部分大模型读图能力较弱。另一方面，这也从侧面反映出大模型的学习方式与人类的认知方式存在差异，人类在幼儿期间获取知识的方式与AI并不相同。”
专家点评
北京市海淀区教师进修学校校长姚守梅在解读大模型K12学科测试结果时指出，在语文、历史等人文学科的考试中，模型欠缺对文字背后的文化内涵以及家国情怀的理解。面对历史地理综合题时，模型并不能像人类考生一样有效识别学科属性。相较于简单的英语题，模型反而更擅长复杂的英语题。解理科题目时，模型会出现以超出年级知识范围外的方法解题的情况。当出现无法理解的考题时，模型依然存在明显的“幻觉”。
中国传媒大学智能媒体计算实验室负责人史萍教授表示，相较文本，视频的主观评价复杂度极高。自动化指标无法完全捕捉模型生成的质量，更无法对生成视频的真实性、图文语义一致性等进行量化。因此，需要系统化构建针对文生视频模型的主观评价体系。
该评价体系，由智源研究院与中国传媒大学基于双方在大模型评测领域和视频质量评价领域的丰富科研成果与实践经验共同建立，在图文一致性、真实性、视频质量、美学质量四大方面给出多维度评分，为AIGC视频生成技术的应用及发展提供参考。
本次智源评测使用20余个数据集、超8万道考题，包括与合作单位共建和智源自建的多个评测数据集，如中文多模态多题型理解及推理评测数据集CMMU、中文语义评测数据集C-SEM、中文语言及认知主观评测集CLCC、面向复杂算法代码生成任务的评测集TACO、文生图主观评测集Image-gen、多语言文生图质量评测数据集MG18、文生视频模型主观评测集 CUC T2V prompts。其中，主观题4000余道，均来源于自建原创未公开并保持高频迭代的主观评测集，严格校准打分标准，采取多人独立匿名评分、严格质检与抽检相结合的管理机制，降低主观偏差的影响。此外，为了更准确地评测语言模型的各项能力，智源专门对所有客观数据集的子数据集进行了能力标签映射。
智源研究院院长王仲远
智源研究院院长王仲远表示，未来，智源研究院将携手生态合作伙伴继续共建完善评测体系，促进模型性能的优化以及在多元复杂场景下的产业落地，推动大模型技术应用的有序发展。
您可能感兴趣
