MATHEMATICAL CAPABILITY BENCHMARK

Math Gauge

书面证明、Lean 与数学研究。考察数学论证、形式化交付,以及发现和修复问题的能力。

v1.0.0封版
AI 审核 · 部分人工抽审审核方式 →
39
公25题 · 私14题
35
数学家族
100/100
权重覆盖
3轮
Lean 对齐自查 · 独立计分

模型排行榜

公开+私有 · 可靠数学能力 / 100

排序
总分/100MCRMCSMC
Astra 6 (max)
MC94.32
RMC94.32
SMC89.17
Sol 6.1 (max)
MC94.32
RMC94.22
SMC89.17
Claude Opus 5.5 (max)
MC93.76
RMC91.44
SMC59.42
Astra 6 (xhigh)
MC91.45
RMC90.45
SMC79.17
Dot Underlying (2026-11-08)
MC91.66
RMC90.23
SMC78.00
Claude Sonnet 5.5 (max)
MC91.95
RMC88.20
SMC55.42
Sol 6.1 (xhigh)
MC90.12
RMC87.96
SMC68.00
Terra 6.1 (max)
MC82.62
RMC80.85
SMC65.67
Terra 6.1 (xhigh)
MC79.71
RMC78.50
SMC63.00
Kimi 3.1 Pro (max)
MC75.28
RMC70.41
SMC43.67
DeepSeek v4.1 Flash (max)
MC76.71
RMC64.23
SMC25.83
Gemini 4 Argon (high)
MC79.50
RMC61.41
SMC37.92
Gemini 3.8 Flash (high)
MC61.82
RMC40.43
SMC13.75
GLM 5.3 (max)
MC41.48
RMC27.34
SMC14.08

采用规则选定答卷,满分100。

可靠数学能力按实际完成度计分,并保留错误、回退和误报扣罚。

#模型Harness答题完成度MCRMC · 主分SMC评测详情
1Astra 6 (max)Codex CLI交卷 39/0/39Codex CLI39/0/3994.3294.3289.17详细评测 →
2Sol 6.1 (max)Codex CLI交卷 39/0/39Codex CLI39/0/3994.3294.2289.17详细评测 →
3Claude Opus 5.5 (max)Claude Code交卷 39/0/39Claude Code39/0/3993.7691.4459.42详细评测 →
4Astra 6 (xhigh)Codex CLI交卷 39/0/39Codex CLI39/0/3991.4590.4579.17详细评测 →
5Dot Underlying (2026-11-08)Unknown¹交卷 39/0/39Unknown¹39/0/3991.6690.2378.00详细评测 →
6Claude Sonnet 5.5 (max)Claude Code交卷 39/0/39Claude Code39/0/3991.9588.2055.42详细评测 →
7Sol 6.1 (xhigh)Codex CLI交卷 39/0/39Codex CLI39/0/3990.1287.9668.00详细评测 →
8Terra 6.1 (max)Codex CLI交卷 39/0/39Codex CLI39/0/3982.6280.8565.67详细评测 →
9Terra 6.1 (xhigh)Codex CLI交卷 39/0/39Codex CLI39/0/3979.7178.5063.00详细评测 →
10Kimi 3.1 Pro (max)Claude Code交卷 38/0/39Claude Code38/0/3975.2870.4143.67详细评测 →
11DeepSeek v4.1 Flash (max)Codex CLI²交卷 37/1/39Codex CLI²37/1/3976.7164.2325.83详细评测 →
12Gemini 4 Argon (high)AGY CLI⁴交卷 37/2/39AGY CLI⁴37/2/3979.5061.4137.92详细评测 →
13Gemini 3.8 Flash (high)AGY CLI交卷 38/1/39AGY CLI38/1/3961.8240.4313.75详细评测 →
14GLM 5.3 (max)Claude Code³交卷 21/5/39Claude Code³21/5/3941.4827.3414.08详细评测 →

主动交卷/强收有内容/总初答题数。强收仅可计MC,RMC与SMC为0;未测保持未知。

¹ Dot原生独立运行方式

² 此前使用DeepSeek Harness(DSH)时,多道题因推理过程过长、耗尽最大输出预算而未能交卷,随后改用Codex CLI。

³ GLM 5.3在Codex CLI和Claude Code下均出现过大量超时、无法按时交卷;本次留档采用Claude Code结果。未正常交卷的RMC与SMC为0,MC可计经核实的原成果。

⁴ Argon部分任务未能正常结束并交卷。两题虽保留可核实的数学内容,但仅计入MC,RMC与SMC均为0。

共同条件:允许本地工具及预置公共依赖,禁止联网检索与工具联网。各Harness版本及实际使用情况见模型详情。

分数落差以MC为共同基准 · 可靠差与交付差

RG=RMC−MC · DG=SMC−MC · 百分点

排序
越接近0,分数落差越小RG · 可靠差DG · 交付差
Astra 6 (max)
RG0.00
DG−5.15
Sol 6.1 (max)
RG−0.10
DG−5.15
Astra 6 (xhigh)
RG−1.00
DG−12.28
Terra 6.1 (xhigh)
RG−1.21
DG−16.71
Dot Underlying (2026-11-08)
RG−1.43
DG−13.66
Terra 6.1 (max)
RG−1.77
DG−16.95
Sol 6.1 (xhigh)
RG−2.17
DG−22.12
Claude Opus 5.5 (max)
RG−2.32
DG−34.34
Claude Sonnet 5.5 (max)
RG−3.74
DG−36.53
Kimi 3.1 Pro (max)
RG−4.87
DG−31.61
DeepSeek v4.1 Flash (max)
RG−12.48
DG−50.87
GLM 5.3 (max)
RG−14.14
DG−27.40
Gemini 4 Argon (high)
RG−18.09
DG−41.58
Gemini 3.8 Flash (high)
RG−21.39
DG−48.07

内容可靠率与目标达成率

内容可靠率衡量已作断言的正确性,目标达成率统计完整成果的交付。

排序
百分比 · 0–100内容可靠率目标达成率
可靠100.00%
达成90.92%
可靠99.90%
达成90.92%
可靠99.80%
达成69.67%
可靠99.65%
达成85.29%
可靠98.93%
达成82.61%
可靠98.68%
达成87.36%
可靠97.93%
达成72.51%
可靠94.22%
达成85.84%
可靠91.14%
达成68.03%
可靠90.83%
达成83.38%
可靠85.44%
达成61.78%
可靠76.64%
达成57.36%
可靠69.48%
达成32.44%
可靠61.26%
达成38.79%

计算方法 →

分类排行榜

三个大类独立排序

各分类可独立选择排序口径。

书面证明排行榜

类内满分100 · 总榜权重35%

排序
类内百分制MCRMCSMC
Astra 6 (max)
MC99.64
RMC99.64
SMC92.86
Astra 6 (xhigh)
MC99.64
RMC99.64
SMC92.86
Sol 6.1 (max)
MC99.64
RMC99.64
SMC92.86
Sol 6.1 (xhigh)
MC99.64
RMC99.64
SMC92.86
Terra 6.1 (max)
MC99.64
RMC99.64
SMC92.86
Dot Underlying (2026-11-08)
MC99.64
RMC99.29
SMC92.86
Terra 6.1 (xhigh)
MC96.38
RMC95.78
SMC80.95
Claude Opus 5.5 (max)
MC94.79
RMC92.17
SMC53.57
Claude Sonnet 5.5 (max)
MC89.91
RMC85.51
SMC53.57
Kimi 3.1 Pro (max)
MC87.03
RMC83.58
SMC61.90
Gemini 4 Argon (high)
MC88.42
RMC75.98
SMC48.81
DeepSeek v4.1 Flash (max)
MC81.62
RMC70.99
SMC23.81
Gemini 3.8 Flash (high)
MC69.55
RMC55.74
SMC13.10
GLM 5.3 (max)
MC40.88
RMC27.37
SMC13.10

类内成绩满分100;计入总榜的贡献见下表。

RMC · 分类贡献

规则允许的最终成绩

大类贡献

点击大类表头展开子类 · 贡献分 / 该项满分

RMC
总分结构 · 书面证明35% · Lean35% · 数学研究30%
书面证明35%
Lean35%
数学研究30%

分类贡献与下载使用当前总榜口径。
方法与数据 →

当前成绩下载

公私合并成绩,使用当前总榜口径。

方法与数据 →

答题耗时参考

整章形式化与日常五道典型题的耗时比较。单位:分钟。

排序
三项共用分钟刻度,所有模型统一。实心:正常交卷斜纹:含未正常交卷

实际运行耗时,含工具和等待;未交卷也计入。Harness、网络与硬件各异,仅供参考。

典型题、权重与来源

日常五题分别代表书面论证、论证审阅、背景核查、命题拓展和想法手稿化。加权均值沿用五类现有权重 25:10:10:10:10,中位数直接取五题的中位。

    五题计时须齐全才给出汇总,缺少的整章形式化计时留空。自查和额外重试不在本表内。

    仅比较当前采用答卷,已废弃的重跑不展示、不计入汇总。Gemini 3.8 合计原始运行与同工程续作,两段间等待不计入。

    完整计时说明 ↗ · JSON ↓

    总成本参考

    当前留档答卷 · 美元

    计算口径 ↗

    每题只计留档采用的一次作答;全部未交卷时取最后留档尝试。三轮固定自查各计一次,其余重试不计。

    Dot 使用2026-11-08测试时订阅附赠的独立额度,额外费用 $0;其余按公开 API 价格折算并计缓存优惠。DeepSeek 统一采用官方峰价,保留缓存优惠。

    成本—成绩

    横轴为总成本(美元,从0开始的线性刻度),纵轴为RMC。越靠左上越好。

    完整交卷(39/39)未完整交卷估算完整数据的 Pareto 前沿
    成本与成绩按模型主题色绘制,实心表示39题均正常交卷,空心表示正常交卷不足39题;强制收取的内容不计为正常交卷。

    查看图表数据
    模型总成本RMC典型题耗时 / 分钟