UniPat AI 牵头、联合哈佛、斯坦福、康奈尔等高校团队推出名为 SPU(Science Prediction Universe)的湿实验预测基准,也就是大家说的史上最严湿实验预测基准,实测结果打破了行业里默认的 “堆算力就能变强” 的想法,哪怕把模型推理强度拉满、算力直接翻 5 倍,AI 对真实湿实验结果的预测能力也几乎没有提升。这套基准和普通 AI 刷题数据集不一样,它全部采用已经做完的真实湿实验数据,一共包含 116 项科研任务、4207 组湿实验记录,覆盖化学、材料、生物、医学四大方向,测试的时候给 AI 固定资源条件,单轮任务只能用一块 H20、连续工作 8 小时,AI 可以自主检索文献、调用工具去预测实验结果,最后拿真实实验室测出的数据对照打分。之前很多 AI 科学评测,大多是纸面题目、文献问答,很难反映真实实验室的预测能力,而 SPU 直接对标真实科研场景,用来检验 AI 能不能预判化学反应、材料性能、蛋白表达这类湿实验结果。测试里 12 款前沿大模型全部参与评估,哪怕是 Opus 5.5 这类头部模型,也只有一半任务的预测效果超过随机猜测,就算增加推理预算、把算力拉到原来 5.3 倍,预测分数基本不动,这说明湿实验背后复杂的物理、生化机制,不是单纯靠增加算力和推理步数就能搞定的。
SPU 基准核心信息清单
- 基准名称:Science Prediction Universe,简称 SPU
- 牵头方:UniPat AI
- 合作机构:哈佛、斯坦福、康奈尔等高校与生物技术企业
- 任务总量:116 个科研任务
- 湿实验样本:4207 组真实湿实验
- 覆盖领域:化学、材料科学、生物学、医学
- 测试资源上限:单任务 1 张 H20 GPU,单次运行时长 8 小时
- 参测模型数量:12 款前沿大模型
- 核心规则:AI 自主检索、自主规划,预测结果和线下实测湿实验数据比对
测试关键发现
- 算力收益失效:推理强度拉满、算力提升约 5 倍,模型湿实验预测得分几乎没有上涨
- 头部模型上限低:最强 Opus 5.5,仅半数任务预测效果优于随机水平
- 领域难度差异:生物、医学类湿实验预测难度显著高于普通化学任务
- 检索加成有限:允许 AI 查文献、调用科研工具,也很难大幅拉高预测准确率
和传统 AI 科学评测基准的差别
- 数据来源:传统基准多是选择题、文献问答、虚拟构造样本;SPU 全部为线下真实湿实验结果
- 评估目标:传统基准考知识背诵、文献理解;SPU 考核对真实实验结果的预判能力
- 资源约束:传统基准不限算力;SPU 固定硬件、固定时长,模拟科研人员有限算力条件
- 打分标尺:传统基准看答题对错;SPU 对比实验室实测数据,更贴近真实科研价值
对 AI for Science 行业带来的影响
- 研发方向:单纯堆算力的路线在湿实验预测场景行不通,行业需要转向机制建模、专业科学模型
- 科研落地:AI 不能直接替代湿实验,更多用来缩小候选实验范围,降低试错成本
- 评测标准:后续科学 AI 评测,会更多引入真实湿实验闭环验证,而不是纸面刷题
- 企业选型:药企、材料厂商评估 AI 科研工具,不能只看通用大模型跑分,要重点看湿实验预测基准表现
【相关 FAQ】
问题 1:这套史上最严湿实验预测基准 SPU,为什么算力翻五倍也没法提升预测效果?
回答 1:湿实验背后是复杂生化、材料相互作用机制,很多底层规律没办法靠增加推理步数、堆砌算力猜出来,所以在这个史上最严湿实验预测基准里,算力翻五倍也很难提升模型预测成绩。
问题 2:SPU 史上最严湿实验预测基准,测试用的是虚拟实验还是真实湿实验?
回答 2:SPU 史上最严湿实验预测基准全部采用已经完成的真实湿实验数据,一共 4207 组湿实验,不是虚拟构造的题目,这也是它难度很高的原因。
问题 3:在这个史上最严湿实验预测基准测试里,最好的大模型表现怎么样?
回答 3:在这套史上最严湿实验预测基准测试中,表现最好的 Opus 5.5,也只有一半任务的预测结果比随机猜测更好,整体预测能力距离可靠科研使用还有很大差距。
问题 4:SPU 史上最严湿实验预测基准主要用来做什么?
回答 4:SPU 史上最严湿实验预测基准用来横向评测各类大模型预判湿实验结果的能力,帮助科研人员筛选适合做实验预筛、方案初选的 AI 模型。
【参考资料】
[2026-11-14](「史上最严」湿实验预测基准发布!推理拉满、算力翻 5 倍也白搭)量子位
[2026-11-14](Historic Strictest Wet Experiment Prediction Benchmark Released)36 氪英文站
[2026-11-14](SPU 湿实验基准实测:堆算力无法解决科学预测难题)AI 地带
【免责声明】
本文内容仅为科技资讯梳理,SPU 基准测试结果、模型表现以官方论文与项目主页完整数据为准,不构成科研选型、算力采购、模型投资建议。
本文来自作者[脉冲溯源]投稿,不代表环球科技潮立场,如若转载,请注明出处:https://www.zennew.com/rgzn/202611/1579.html
评论列表(4条)
我是环球科技潮的签约作者“脉冲溯源”!
希望本篇文章《标题史上最严 SPU 湿实验预测基准发布,推理拉满、算力翻五倍模型性能也难提升》能对你有所帮助!
本站[环球科技潮]内容主要涵盖:科技,科技新闻,黑科技
本文概览:UniPat AI 牵头、联合哈佛、斯坦福、康奈尔等高校团队推出名为 SPU(Science Prediction Universe)的湿实验预测基准,也就是大家说的史上最严湿实验预测基准,实测结果打破了行业里默认的 “堆算力就能变强” 的想法,哪怕把模型推理强度拉满、算力直接翻 5 倍,AI 对真实湿实验结果的预测能力也几乎没有提升。这套基准和普通 AI 刷题数据集不一样,它全部采用已经做完的真实湿实验数据,一共包含 116 项科研任务、4207 组湿实验记录,覆盖化学、材料、生物、医学四大方向,测试的时候给 AI 固定资源条件,单轮任务只能用一块 H20、连续工作 8 小时,AI 可以自主检索文献、调用工具去预测实验结果,最后拿真实实验室测出的数据对照打分。之前很多 AI 科学评测,大多是纸面题目、文献问答,很难反映真实实验室的预测能力,而 SPU 直接对标真实科研场景,用来检验 AI 能不能预判化学反应、材料性能、蛋白表达这类湿实验结果。测试里 12 款前沿大模型全部参与评估,哪怕是 Opus 5.5 这类头部模型,也只有一半任务的预测效果超过随机猜测,就算增加推理预算、把算力拉到原来 5.3 倍,预测分数基本不动,这说明湿实验背后复杂的物理、生化机制,不是单纯靠增加算力和推理步数就能搞定的。