LEGO-Puzzles：多步积木空间推理怎样测评 AI
LEGO-Puzzles 是测评基准，不是积木生成器。它测试多模态模型能否理解视角与旋转、推断下一步装配状态，并在多步规划中保持一致。本文用更新后的 arXiv 论文核对结果，用作者的 GitHub 仓库核对评测代码。
两组任务区分基础能力与完整规划
Elementary 组有 1,100 道精编视觉问答题，来自 407 份拼装说明，11 类任务各 100 道。第一级测试高度、相邻关系、旋转和多视角；第二级测试单步旋转状态、位置、下一状态和零件依赖；第三级测试正确的中间状态、图片顺序和不属于序列的异常状态。
Planning 组进一步要求明确的装配序列。挑出一张看似合理的下一步图，与始终保持一致地走到目标结构，是两种不同难度的能力。
增加步数，并加入干扰项
Plan-k-Step-VQA 将规划长度从 1 步扩展到 8 步，同时加入逆向推理和异常状态任务产生的干扰项，使 k 步题目有 2k 个选项。研究同时记录整段序列完全匹配率、不计顺序的元素集合匹配率和正确步骤的重叠率，用来区分选错步骤与排错顺序。
另一组任务让模型逐步生成中间图像。评测先依据零件依赖列举合法装配顺序，再将生成图与候选状态匹配，只有整段轨迹合法才算正确。画面好看不等于装配序列可行。
更新版论文揭示多步推理缺口
更新版论文在 Elementary 任务上评估 29 个多模态模型。GPT-5 在 Plan-k-Step-VQA 的完全匹配率从 1 步的 90% 降到 8 步的 0%；5 位专家参与者在所测规划问题上取得 100%。报告的图像生成测试中，即使有些单张图看似合理，所测模型也未能完成正确的 3 步轨迹。
这些是指定任务、模型和提示下的基准结果。仓库 README 仍概述较早的 20 模型版本；本文的 29 模型和长时序结果以所链接的更新版 arXiv 论文为准。
审查视觉步骤时要检查整段序列
检查零件数量和朝向、前后步骤的依赖，以及每一帧能否自然接上前一帧，避免零件凭空消失或移动。好看的最终渲染不能验证隐藏连接和中间状态。
BrickGPT.online 从成品模型图生成 AI 视觉步骤板和视频。该研究没有测试本站，也不能替本站输出背书，但解释了为什么不能未经检查就把生成步骤当成可执行拼装说明。
论文、代码与数据集
LEGO-Puzzles 由 Kexian Tang 等人提出。作者仓库提供数据入口和基于 VLMEvalKit 的评测流程。复现分数前应检查当前仓库说明；论文与 README 描述的是不同版本快照。
BrickGPT Lab