25.77万CAD 实体(每页中位数 523)
1,800单页理解题
383跨页理解题 · 1,953 道子题
232L1 待重建的单页图纸
28L2 待重建的整套图纸(共 230 页)
19L3 参数化设计任务
结果
模型重画的图面较准确,但 CAD 文件的结构仍有较多错误
我们在高推理强度下评测了七个前沿多模态大模型。最强的模型能准确读出并描出图面内容,但对打印时丢失的文件结构,还原得要差得多。
91.2L1 页面得分
单页重建的最高得分(GPT-6 Astra;几何 F1 达到 95.5)
59.9图层 F1
同一模型在这些页面上的图层 F1:黑白打印图不包含原 CAD 文件的图层标记
47.9L3 设计召回率
新设计中需要随参数改动的数值,算对的不到一半
† 页面按 2×2 切块发送
发现 01图面重画准确,图层仍可能放错GLM-5.3-Flash 的图层 F1 最高,为 70.8;其图层 F1 相当于几何 F1 的 86%,GPT-6 Astra 的这一比例为 63%。
发现 02整套重建时,几乎所有模型都掉分同一页图放进整套里重建,GPT-6 系列比单独重建低 3.4–4.5 分;GPT-5.6 Sol 和较大的开源模型低 22–29 分。
发现 03两款领先模型的设计得分低于直接复制参考页得分最高的两个模型对需要改动的数值,分别只写对了 47.9% 和 49.1%。直接复制参考页的页面得分比它们高 6.0 和 8.9 分。
完整评测结果每列最优值以蓝色标出
较单页 同一批页面的 L2 页面得分减去 L1 得分
较照抄 L3 页面得分减去原样照抄参考页的得分
† 页面按 2×2 切块发送
定性分析
前沿模型究竟错在哪里
把模型生成的 DXF 文件与设计人员的源文件并排对照,能看到三类像素指标反映不出来的失败模式。
L1 单页重建:几何 F1 为 100,图层 F1 只有 12
钢筋表(上)中,GPT-6 Astra 把每个单元格都准确重建了出来,GPT-5.6 Sol 则把表格比例弄错,并丢了大部分文字。桥墩大样(下)中,两个 GPT-6 模型把每条线都画了出来(几何 F1 100),却把钢筋放错了图层(图层 F1 为 12 和 11)。
100几何 F1
12图层 F1
任务
三类任务,难度逐级上升
三类任务分别考察读懂图纸数值、从黑白打印图重建可编辑的 CAD 文件,以及根据参考 CAD 文件和新参数设计图纸。
01 · 理解
读懂图上每个数值指的是哪个对象
题目为六选项的不定项选择题(1–4 个正确选项,随机猜对的概率为 1/56),由三位土木工程专家审核。每个错误选项都对应一类明确的绑定错误,并且能由图纸本身证明是错的。
- 单页1,800 道题,每题只涉及一页,覆盖六种绑定类型:实例、跨视图、表格、基准、范围和视图。
- 多页383 道跨页题,给出证据页,并混入两张相似的干扰页。
- 整套330 道跨页题面向约 30 页的整个图纸单元提问,模型要用可缩放的看图工具自己找到相关页。
- 子题多页设置有 1,953 道、整套设置有 1,989 道读值和绑定子题,分别考察读取单项信息与跨页组合信息的能力。
单页题按绑定类型的分布(共 1,800 道)
实例 879跨视图 362表格 187基准 185范围 94视图 91
一页图上的六种绑定类型2,183 道经专家审核的题目
02 · 重建
从像素还原出可编辑的 CAD 文件
智能体只拿到一张 200 dpi 的黑白栅格图,没有矢量层和文字层,需要在沙箱中编写 Python / ezdxf 代码,输出分图层、带可编辑尺寸标注的 DXF 文件。
- L1 · 单页232 页桥梁和隧道图纸,按实体数量分为小(108 页)、中(96 页)、大(28 页)三档。
- L2 · 整套28 套完整图纸(每套 5–14 页,共 230 页),要求跨页保持一致。
九个标准化的功能图层
轮廓
钢筋
隐藏线
中心线
填充
尺寸标注
文字
符号
表格
L1 输入 · 黑白栅格图→
目标 · 九图层 DXF 文件
L2 输入 · 一套图纸的全部 7 页 → 每页一个相互一致的 DXF
232 页 L1 图纸28 套 L2 图纸(共 230 页)
03 · 设计
按新参数派生出一张新图
设计人员按新参数绘制的目标页只用于评分,不提供给智能体。智能体拿到参考页的 DXF、同套其他页的栅格图和新参数。
- L3 · 设计19 个参数化设计任务,钢筋根数、长度、几何形状、尺寸标注和数量表合计都必须同步更新、相互吻合。
已知 · 参考页 DXF→
仅用于评分 · 设计人员绘制的目标页同一构件,新的参数19 个 L3 任务
流程与评分
智能体在沙箱中作图,以文件比对做确定性评分
智能体在隔离的容器里编写并运行代码,把自己的 DXF 渲染出来与输入对照,然后一次性提交。评分不使用任何 LLM 或 VLM 裁判。
输入200 dpi 的栅格图、规定了图纸坐标(毫米)和 9 个图层的任务说明,以及 Python/
ezdxf 工具。作图智能体在沙箱里自己编写并运行脚本,生成可编辑的 DXF 文件。
自检按输入的黑白样式把 DXF 画出来,提交前与输入图对照。
文件比对评分容器外的评分器把输出的实体与设计人员的源文件逐一对齐,计算 5 个加权分项。
页面得分公式权重之和为 1.00
- 几何 F1曲线按 0.25 mm 间距采样,图纸上相距 1 mm 以内算匹配0.25
- 图层 F1匹配上的几何点还必须落在同一个图层上0.30
- 图层合规率落在九个规定图层上的实体所占比例0.10
- 文字 F1字符串相距 6 mm 以内、相似度 ≥ 0.8、数字完全相同0.20
- 尺寸标注 F1尺寸标注按数值和位置匹配0.15
L2 整套 · 共享值召回率源文件中在同一套图纸多页上重复出现的数值,有多大比例在输出里也保持一致。
L3 设计 · 设计召回率需要随新参数改动的数值(由留作真值的那页与参考页比对得出)中,输出算对的比例。
理解 · 完全匹配与子题不定项选择题须所选选项与答案完全一致才算对(随机猜对的概率为 1/56)。子题按答案类型分别判分,并据此计算局部覆盖率(LC)和组合准确率(CA)。
严格的沙箱隔离DWG 源文件、真值 DXF 和确定性评分器始终放在智能体的容器之外。
数据样例
直接查看基准数据
每类任务都有样例,可直接在网页里查看:图纸原页、题目及答案、每个错误选项的错因,以及按图层着色的目标 CAD 文件。
60 道单页题
10 道跨页题
62 道子题
6 页 L1 图纸
1 套 L2 图纸
1 个 L3 设计任务
查看数据样例