admin管理员组文章数量:1033152
AGI
目录：
01.OlympicArena 正式推出
02.OlympicArena 难度介绍
2.1 覆盖领域广
2.2 整体难度高
03.AGI-Eval评测模型榜单
04.学术难度分析
05.题型分析
06.难度分析
07.结语
01.OlympicArena 正式推出
自从年初 DeepSeek R1 版本开源后，国内外都又开始卷起推理系模型，不论是腾讯的 T1 还是字节在豆包上线“深度思考”推理模式的模型，高难度学科竞赛、代码竞赛的评测成为各大模型公司的关注目标。现在模型能力越来越强，一般难度的题目，模型之间都很难得出差异性，无法区分模型能力。
为了进一步挑战人工智能系统，大家已经开始研究一些最困难的竞赛中的问题，特别是国际奥林匹克竞赛和算法挑战。但目前尚无奥林匹克级别的、多学科的基准，能够全面评估综合解决问题的能力，以全面检验人工智能的综合认知能力。
AGI-Eval 大模型评测社区联手上海交通大学生成式人工智能实验室 (GAIR Lab) 的研究团队发布最新评测结果——多学科认知推理基准 OlympicArena。
02.OlympicArena 难度介绍
2.1 覆盖领域广
OlympicArena 覆盖数学、物理、化学、生物、地理、天文学、计算机科学7大领域，细分34个分支（如数论、量子物理、有机化学）。题目来源包括国际数学奥赛（IMO）、国际物理奥赛（IPhO）等 62 项顶尖赛事，共 11163 道双语题目（中英对照），实际的难度如何。
2.2 整体难度高
AGI-Eval大模型评测团队基于此，做了 OlympicArena 题目的难度验证，按照 14 个标杆模型（去除Qwen2-72B-Chat）的结果对数据子集和数据集维度做难度分布，从图中可以看到，OlympicArena 整体难度偏难，仅低于 AGI-Eval 团队私有的两个高中数学竞赛题目。
03 模型榜单
“奥赛题是检验 AI 科学思维的绝佳试金石。”这类高难度题目不仅需要知识储备，更考验逻辑推导、空间想象、符号理解等综合能力。在这场超级测试中，那擅长代码、学科竞赛的推理系模型表现如何？
o1登顶本次榜单
从整体表现上看 o1 和 DeepSeek-R1 的水平基本持平，但是在化学、生物学、天文学、物理上 o1 表现好于 DeepSeek-R1，特别是天文学上 o1 得分达92.47%，但数学、地理方面 DeepSeek-R1 优于 o1。
04 学术难度分析
从能力测试上可以看到模型在不同学科的表现水平不同，在天文学上 o1 得分高达 92.47%。是天文学很简单吗？基于此，团队也做了相关的学科分析，从下面的箱合图中可以看到（中位数越小越难）：
- 化学、生物、地理和天文为一档，该档模型中位数大于 0.6，从箱型大小可以得到构建优先级为：天文 > 化学 > 生物 > 地理
- 物理为单独一档，该档模型中位数 0.5 附近，箱型大小较大
- 数学为单独一档，该档模型中位数 0.3 附近，箱型大小极大
客观来说，在数学物理上 R1、o1、o3-mini 表现能力更好，能力水平也会更稳定。
05 题型分析
除对模型进行能力评测外，团队也做了相关的题型分析，提炼出以下雷达图，从图中可以看到 1-5 排名的推理模型对其它模型产生了碾压的态势，特别是在非选择题题型上，建议构建题目以单问的生成题为主。
△通用模型6-10
06 难度分析
同时也对模型在面对不同难度题目做了分析，可以看到头部模型在 Easy 难度基本已接近 100% 的准确率，且无区分度；Medium/Hard 难度是推理系模型拉开的主战场，且 Meidum 难度已达到 90% 的准确率，后续模型评测建议只构建Hard难度的题目。
预测分析，用 Medium、Hard 拟合 Easy，Easy、Hard 拟合 Medium，以及 Easy、Medium 拟合 Hard，可以得到如下图（在 Ideal Fit 线上方的为超出预期，线下的为低于预期）。
- O3-mini、O1、DeepSeek-R1在Hard上已超越模型列表中的正常表现，但在Medium上略低于预期
- 平衡点：即 Easy、Medium、Hard 上分数为多少时三公式有解，说明模型表现均衡，Easy = 1, Medium = 0.6695, Hard = 0.1897
07 结语
在去年6月的时候，在 GPT-4o 也只达到了 34.01% 的整体准确率，而其他开源模型的整体准确率也难以达到 20%。这一鲜明的对比凸显了我们的基准测试的巨大难度和严谨性，证明了它在突破当前 AI 能力界限方面的有效性。
△该图为去年评测结果
OlympicArena 不仅是一套题库，还做了一些创新，比如为避免模型“刷题”，团队引入数据泄漏检测技术，采用 N-gram 预测检测数据泄露，确认99.6%的题目未被预训练数据污染。
除此之外还提供了一套全面的资源来支持人工智能研究，包括基准数据集、开源注释平台、详细的评估工具和具有自动提交功能的排行榜。
OlympicArena 的诞生，是对现有模型的试金石，更是对AI研发路径的深刻启示：仅靠数据堆砌无法实现真正的智能。未来的AI应该学会像奥赛选手一样拆解问题、关联知识、严谨推导。
当模型能力达到这样的水平时，对模型的评测的题目难度及评测要求也越来越高，后续模型评测建议只构建Hard难度的题目。
在这种模式下，参与者可以与最新的大模型共同完成任务，既有助于提高任务完成度又便于建立更加直观的区分度。
未来随着模型能力的不断攀升，AI还有更多能力值得发掘和探索，对模型能力的考察也仍有更多创新空间。
AGI
目录：
01.OlympicArena 正式推出
02.OlympicArena 难度介绍
2.1 覆盖领域广
2.2 整体难度高
03.AGI-Eval评测模型榜单
04.学术难度分析
05.题型分析
06.难度分析
07.结语
01.OlympicArena 正式推出
自从年初 DeepSeek R1 版本开源后，国内外都又开始卷起推理系模型，不论是腾讯的 T1 还是字节在豆包上线“深度思考”推理模式的模型，高难度学科竞赛、代码竞赛的评测成为各大模型公司的关注目标。现在模型能力越来越强，一般难度的题目，模型之间都很难得出差异性，无法区分模型能力。
为了进一步挑战人工智能系统，大家已经开始研究一些最困难的竞赛中的问题，特别是国际奥林匹克竞赛和算法挑战。但目前尚无奥林匹克级别的、多学科的基准，能够全面评估综合解决问题的能力，以全面检验人工智能的综合认知能力。
AGI-Eval 大模型评测社区联手上海交通大学生成式人工智能实验室 (GAIR Lab) 的研究团队发布最新评测结果——多学科认知推理基准 OlympicArena。
02.OlympicArena 难度介绍
2.1 覆盖领域广
OlympicArena 覆盖数学、物理、化学、生物、地理、天文学、计算机科学7大领域，细分34个分支（如数论、量子物理、有机化学）。题目来源包括国际数学奥赛（IMO）、国际物理奥赛（IPhO）等 62 项顶尖赛事，共 11163 道双语题目（中英对照），实际的难度如何。
2.2 整体难度高
AGI-Eval大模型评测团队基于此，做了 OlympicArena 题目的难度验证，按照 14 个标杆模型（去除Qwen2-72B-Chat）的结果对数据子集和数据集维度做难度分布，从图中可以看到，OlympicArena 整体难度偏难，仅低于 AGI-Eval 团队私有的两个高中数学竞赛题目。
03 模型榜单
“奥赛题是检验 AI 科学思维的绝佳试金石。”这类高难度题目不仅需要知识储备，更考验逻辑推导、空间想象、符号理解等综合能力。在这场超级测试中，那擅长代码、学科竞赛的推理系模型表现如何？
o1登顶本次榜单
从整体表现上看 o1 和 DeepSeek-R1 的水平基本持平，但是在化学、生物学、天文学、物理上 o1 表现好于 DeepSeek-R1，特别是天文学上 o1 得分达92.47%，但数学、地理方面 DeepSeek-R1 优于 o1。
04 学术难度分析
从能力测试上可以看到模型在不同学科的表现水平不同，在天文学上 o1 得分高达 92.47%。是天文学很简单吗？基于此，团队也做了相关的学科分析，从下面的箱合图中可以看到（中位数越小越难）：
- 化学、生物、地理和天文为一档，该档模型中位数大于 0.6，从箱型大小可以得到构建优先级为：天文 > 化学 > 生物 > 地理
- 物理为单独一档，该档模型中位数 0.5 附近，箱型大小较大
- 数学为单独一档，该档模型中位数 0.3 附近，箱型大小极大
客观来说，在数学物理上 R1、o1、o3-mini 表现能力更好，能力水平也会更稳定。
05 题型分析
除对模型进行能力评测外，团队也做了相关的题型分析，提炼出以下雷达图，从图中可以看到 1-5 排名的推理模型对其它模型产生了碾压的态势，特别是在非选择题题型上，建议构建题目以单问的生成题为主。
△通用模型6-10
06 难度分析
同时也对模型在面对不同难度题目做了分析，可以看到头部模型在 Easy 难度基本已接近 100% 的准确率，且无区分度；Medium/Hard 难度是推理系模型拉开的主战场，且 Meidum 难度已达到 90% 的准确率，后续模型评测建议只构建Hard难度的题目。
预测分析，用 Medium、Hard 拟合 Easy，Easy、Hard 拟合 Medium，以及 Easy、Medium 拟合 Hard，可以得到如下图（在 Ideal Fit 线上方的为超出预期，线下的为低于预期）。
- O3-mini、O1、DeepSeek-R1在Hard上已超越模型列表中的正常表现，但在Medium上略低于预期
- 平衡点：即 Easy、Medium、Hard 上分数为多少时三公式有解，说明模型表现均衡，Easy = 1, Medium = 0.6695, Hard = 0.1897
07 结语
在去年6月的时候，在 GPT-4o 也只达到了 34.01% 的整体准确率，而其他开源模型的整体准确率也难以达到 20%。这一鲜明的对比凸显了我们的基准测试的巨大难度和严谨性，证明了它在突破当前 AI 能力界限方面的有效性。
△该图为去年评测结果
OlympicArena 不仅是一套题库，还做了一些创新，比如为避免模型“刷题”，团队引入数据泄漏检测技术，采用 N-gram 预测检测数据泄露，确认99.6%的题目未被预训练数据污染。
除此之外还提供了一套全面的资源来支持人工智能研究，包括基准数据集、开源注释平台、详细的评估工具和具有自动提交功能的排行榜。
OlympicArena 的诞生，是对现有模型的试金石，更是对AI研发路径的深刻启示：仅靠数据堆砌无法实现真正的智能。未来的AI应该学会像奥赛选手一样拆解问题、关联知识、严谨推导。
当模型能力达到这样的水平时，对模型的评测的题目难度及评测要求也越来越高，后续模型评测建议只构建Hard难度的题目。
在这种模式下，参与者可以与最新的大模型共同完成任务，既有助于提高任务完成度又便于建立更加直观的区分度。
未来随着模型能力的不断攀升，AI还有更多能力值得发掘和探索，对模型能力的考察也仍有更多创新空间。
本文标签： AGI
版权声明：本文标题：AGI 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://it.en369.cn/jiaocheng/1748007563a2240675.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论