近日，北京大学化学与分子工程学院联合北大计算中心、计算机学院、元培学院团队，发布了最新成果SUPERChem：他们以一套“北大试卷”为标尺，冷静丈量着AI在科学推理上的真实边界。
考试现场
一场特殊的期中考
在北京大学化学与分子工程学院，有机化学考试的期中考前，学生们收到突如其来的一条通知：“请注意，本次考试范围不仅限于有机化学。”
除了考试范围的变化，考场里还迎来的一批“特殊考生”：GPT、Gemini、DeepSeek……这些当下世界上最聪明的AI，会在云端与174位北大化学与分子工程学院的大二学生同场竞技。
这是一场精心设计的“图灵测试”，也是北大科研团队为大语言模型投下的一块“试金石”。
晶体结构的精细解析、反应机理的深度推演、物化性质的定量计算……打开SUPERChem的题库，这500道题目并非来自网络上随手可得的公开题库，而是源于对高难度试题和前沿专业文献的深度改编。
之所以要费尽周折重新出题，是“因为大模型太会‘背书’了。”团队成员解释道。互联网可及的测试题大多已被博闻强识的AI在训练阶段熟读，但化学是一门不能只靠死记硬背的学科，既有严密的逻辑推演，又充满了对微观世界的空间想象。“我们非常好奇，大语言模型的一维 next token prediction，能否解决二维、甚至三维空间中的复杂推理问题。”
要设计一套让AI“没见过”、必须靠硬实力推理的题目，难度极高。为此，北大化院近百名师生——其中不乏奥林匹克金牌得主——集结起来，决定给AI出一套高门槛、重推理、防作弊的试卷。
他们要考的，是AI是否真的“懂”化学。
SUPERChem总览与例题
北大学生对决AI
谁考得更好？
在这场精心设计的考试中，人类展现出了复杂的科学直觉。
作为基线，参与测试的北大化院本科生取得了40.3%的平均准确率。这个数字本身，就足以说明这套题目的硬核程度。
而AI的表现如何？
即便是接受测试的顶尖模型，其成绩也仅与低年级本科生的平均水平相当。
前沿模型在SUPERChem上的表现
前沿模型的正确率与RPF关系
让团队感到意外的是视觉信息带来的困惑。化学的语言是图形，分子结构、反应机理图蕴含着关键信息。然而对于部分模型而言，当引入图像信息时，其准确率不升反降。这说明，当前的AI在将视觉信息转化为化学语义时，仍存在明显的感知瓶颈。
输入模态对不同模型的影响
然而，即使选对了答案，解题步骤也可能经不起推敲。因此，团队为每一道题目都标注了详细的评分规则。在SUPERChem这台“显微镜”下，AI是真懂还是装懂，一目了然。
团队发现，AI的推理链条往往断裂于产物结构预测、反应机理识别以及构效关系分析等高阶任务。当前的顶尖模型虽然拥有海量的知识储备，但在处理需要严密逻辑和深刻理解的硬核化学问题时，仍显得力不从心。
推理断点所属化学能力分布
让AI与人类对决
意义何在？
SUPERChem的诞生，填补了化学领域多模态深度推理评测的空白。
据介绍，团队发布这项成果，并非为了证明AI的短板，而是为了推动它走得更远。SUPERChem就像一个路标。它提醒我们：从通用的聊天机器人，到能够理解构效关系、推演反应机理的专业科学助手，中间还有很长的一段路要走。那是从“记住知识”到“理解物理世界”的跨越。
目前，SUPERChem项目已全面开源。团队希望这套源自北大的“试卷”，能成为全球科学与人工智能领域的公共财富，去催化下一次技术的爆发。
【未经授权，严禁转载！联系电话028-86968276】
