微软王炸开源 TRELLIS.2！一张图生成高精 PBR 3D 模型，最快3秒搞定！

微软最新开源了 TRELLIS.2。

一张图，1 分钟内，就能直接生成可商用的 3D 模型。

它生成的不是那种只能看的“土块”，是带材质、带透明通道、高精度的游戏级资产模型。

更离谱的是，它在 H100 上生成一个基础质量的模型只需要 3 秒。

能输出带完整 PBR 材质的 .glb 文件，然后直接拖进 Blender/Unity/Unreal Engine 直接使用。

核心能力

• • “三高”效果：高质量 + 高分辨率 + 高效率
• • 任意拓扑结构处理：引入O-Voxel表示法突破了等值面场的限制，能够稳健地处理复杂结构。
• • 丰富的纹理建模：对任意表面属性进行建模，包括基础颜色、粗糙度、金属度和不透明度。
• • 极简主义处理：数据处理经过简化，可实现即时转换，完全无需渲染和优化。

能力详解

1、高质量 + 高分辨率 + 高效率

TRELLIS.2 使用的是 4B 参数规模的 DiT（Diffusion Transformer），但真正的关键不在参数量，而在架构设计。

稀疏 3D VAE + 16 倍空间下采样，把高分辨率 3D 资产，编码进一个紧凑的潜在空间，在保证细节的同时，大幅降低计算成本。

可以生成512³–1536³分辨率。H100上，生成512³分辨率约3s，1024³约17s，1536³约1min。

2、任意拓扑结构处理

TRELLIS.2 引入了一种新的表示方式：O-Voxel。

专治各种“疑难杂症”结构，突破了等值面场的限制。

• • 薄壳结构：完美还原衣服、树叶、纸张等薄片物体。
• • 非流形几何：处理那些数学上复杂、不封闭的结构游刃有余。
• • 内部结构：不仅是表面，连物体内部的封闭结构也能处理。

这意味着，它生成的模型不再是“看起来像”，而是结构上“站得住脚”。

3、丰富的纹理建模

很多 3D 生成模型，生成后只有一张颜色贴图，渲染一开就“塑料感”满满。

TRELLIS.2 不是。

它直接生成 PBR 四件套：

• • Base Color（颜色）
• • Roughness（粗糙度）
• • Metallic（金属度）
• • Opacity（不透明度）

可以直接丢进真实渲染管线，你生成的玻璃杯在 Unity 里是真的透明的，生成的金属盔甲是真的会反光的。

4、极简处理流程

几乎零后处理，整个流程被压缩到极致：

• • < 10 秒（单核 CPU）：纹理网格 → O 体素
• • < 100毫秒（CUDA）：O体素 → 纹理网格

一句话总结就是：拍一张图 → 跑模型 → 拿走 glb，用就完了。

如何使用？

微软官方在抱抱脸上部署了 Space 可直接使用（需魔法）。

Demo地址：https://huggingface.co/spaces/microsoft/TRELLIS.2

打开网页，只需上传一张主体图片（人物、动物或其他物体），然后点击生成即可。

我这里上传一张兰陵王的图片体验了一下。

真的整个过程不超过20s，生成完成后可以切换纹理显示，整个3D效果很完美。然后就可以下载GLB导入到3D软件进行再处理了。

如果需要自行部署，需要至少配备 24GB 显存的 NVIDIA GPU 的电脑或服务器。

提前下载预训练模型TRELLIS.2-4B。

克隆项目&安装依赖

git clone -b main https://github.com/microsoft/TRELLIS.2.git --recursive
cd TRELLIS.2

. ./setup.sh --new-env --basic --flash-attn --nvdiffrast --nvdiffrec --cumesh --o-voxel --flexgemm

图像到3D代码示例：

import os
os.environ['OPENCV_IO_ENABLE_OPENEXR'] = '1'
os.environ["PYTORCH_CUDA_ALLOC_CONF"] = "expandable_segments:True"  # Can save GPU memory
import cv2
import imageio
from PIL import Image
import torch
from trellis2.pipelines import Trellis2ImageTo3DPipeline
from trellis2.utils import render_utils
from trellis2.renderers import EnvMap
import o_voxel

# 1. Setup Environment Map
envmap = EnvMap(torch.tensor(
    cv2.cvtColor(cv2.imread('assets/hdri/forest.exr', cv2.IMREAD_UNCHANGED), cv2.COLOR_BGR2RGB),
    dtype=torch.float32, device='cuda'
))

# 2. Load Pipeline
pipeline = Trellis2ImageTo3DPipeline.from_pretrained("microsoft/TRELLIS.2-4B")
pipeline.cuda()

# 3. Load Image & Run
image = Image.open("assets/example_image/T.png")
mesh = pipeline.run(image)[0]
mesh.simplify(16777216) # nvdiffrast limit

# 4. Render Video
video = render_utils.make_pbr_vis_frames(render_utils.render_video(mesh, envmap=envmap))
imageio.mimsave("sample.mp4", video, fps=15)

# 5. Export to GLB
glb = o_voxel.postprocess.to_glb(
    vertices            =   mesh.vertices,
    faces               =   mesh.faces,
    attr_volume         =   mesh.attrs,
    coords              =   mesh.coords,
    attr_layout         =   mesh.layout,
    voxel_size          =   mesh.voxel_size,
    aabb                =   [[-0.5, -0.5, -0.5], [0.5, 0.5, 0.5]],
    decimation_target   =   1000000,
    texture_size        =   4096,
    remesh              =   True,
    remesh_band         =   1,
    remesh_project      =   0,
    verbose             =   True
)
glb.export("sample.glb", extension_webp=True)

脚本执行后，会生成以下文件：

• • sample.mp4：一段视频，可视化展示了使用 PBR 材质和环境光照生成的 3D 资产。
• • sample.glb：提取的 GLB 格式的 PBR 就绪 3D 资源。

注意：文件默认以透明模式.glb导出OPAQUE。虽然纹理贴图中保留了 Alpha 通道，但初始状态下并未激活。要启用透明度，请将资源导入到您的 3D 软件中，并手动将纹理的 Alpha 通道连接到材质的透明度或 Alpha 输入。

Web 演示

python app.py

写在最后

如果说过去的 Image-to-3D 更像是AI 艺术实验，那 TRELLIS.2 已经非常接近于3D 资产自动化生产工具了。

它不再只是生成一个模糊的形状让你看着玩，而是交付了结构准确、材质丰富、甚至包含透明通道的专业资产。

对于电商、游戏、VR/AR 行业的从业者来说，这不仅是工具的升级，更是生产力的释放。

如果你手里有几张想要立体化的照片，可以先去 Hugging Face 试一试！

Hugging Face：https://huggingface.co/microsoft/TRELLIS.2-4B

GitHub：https://github.com/microsoft/TRELLIS.2

如果本文对您有帮助，也请帮忙点个 赞👍 + 在看 哈！❤️

在看你就赞赞我！