BrickGPT 论文方法：从文字生成稳定的积木结构
Ava Pun 等人的 BrickGPT 是从文字生成积木结构的研究系统。核心方法是把模型表示为逐块序列，检查每块积木放置是否合法，并对不稳定的结构回退重试。它与 BrickGPT.online 的图片生成视觉步骤板流程是两个不同项目。
难点不只是符合文字描述
看起来像积木模型的 3D 图，仍可能有零件穿插、悬空或连接无效。论文要在限定积木库、离散网格和固定底板的条件下生成稳定结构。作者展示了人工和机器人拼装，但没有声称任意文字或任意现实环境都能保证可拼。
论文作者发布了模型、数据和代码。研究项目与本站同名，不代表 BrickGPT.online 使用了其模型。
先构建稳定的文字与积木配对数据
StableText2Brick 包含超过 47,000 个积木结构，来自 ShapeNetCore 的 28,000 多个不同 3D 物体、21 个类别。作者先把网格模型体素化到 20 x 20 x 20 空间，为同一物体生成多个布局，只保留通过稳定性分析的结构；再从 24 个视角渲染，用 GPT-4o 编写不依赖颜色的几何描述。
普通 3D 数据并不告诉模型每块积木是否放得下、连得上和站得稳。该数据集仍受物体类别、网格尺度和零件范围限制。
把积木结构改写成可预测的序列
每块积木记作一行，例如 1x2 (16,18,0)，表示底面尺寸和网格坐标。零件按从底向上的扫描顺序排列，让尺寸与坐标直接可见，便于逐块验证。
作者在说明文字与积木序列上微调 Llama-3.2-1B-Instruct。推理时，模型根据提示词和已经接受的积木预测下一块。语言模型提出候选，不能单独保证几何合法或静力平衡。
逐块排错，并对不稳定结构回退
快速检查排除格式错误、零件尺寸不在库中、超出边界或与已有零件碰撞的候选。完成后，基于受力的求解器检查静力平衡与连接应力。如果发现不稳定积木，系统删除该块及其后续积木，从较早的稳定前缀继续生成。
物理分析考虑重力、接触力、连接力、力矩平衡和摩擦承载能力。官方仓库建议使用 Gurobi；可选的仅连通性检查更简单也更不准确，不能把连通等同于物理稳定。
- 文字描述目标物体，微调后的模型按顺序提出积木。
- 放置检查剔除格式、零件范围和碰撞问题。
- 完成后进行稳定性分析，失败区域触发回退和重新生成。
实验数据的适用范围
论文在 250 个留出提示词上评估，并与基础语言模型、先生成 3D 再转积木的方法比较。消融实验说明拒绝采样与物理感知回退的重要性。在论文设置下，生成时间中位数为 40.8 秒，回退次数中位数为 2；这不是其他硬件或产品的速度承诺。
方法采用固定底板、离散网格和轴对齐的一单位高积木。贴图及逐块上色是另外的外观阶段。结构稳定也不等于已有准确零件清单或完整拼装说明书。
阅读原始论文与代码
《Generating Physically Stable and Buildable Brick Structures from Text》作者为 Ava Pun、Kangle Deng、Ruixuan Liu、Deva Ramanan、Changliu Liu 和 Jun-Yan Zhu，发表于 ICCV 2025。BrickGPT.online 是以成品积木图片生成视觉步骤板和视频的独立产品。
BrickGPT Lab