这篇文章介绍了一种基于文本生成3D模型的方法，通过使用强大的文本到图像扩散模型，能够生成具有引人注目的几何形状和外观的3D模型。然而，现有的方法仍然难以恢复高保真度的物体材料，要么只考虑Lambertian反射，要么无法将BRDF材料与环境光分离。为此，作者提出了一种名为MATLABER的材料感知文本到3D模型的方法，利用新颖的BRDF自编码器进行材料生成。通过使用大规模真实世界的BRDF数据集训练自编码器，并确保其潜在空间的平滑性，可以隐式地作为材料的自然分布。通过详尽的实验，该方法在生成逼真和连贯的物体材料方面表现出优势，并且高质量的材料能够自然地支持多个下游任务，如重光和材料编辑。
项目地址：
https://sheldontsui.github.io/projects/Matlaber
本文地址：https://www.163264.com/5006