从文本或单图生成3D模型的物理渲染材质，支持多视角一致性。
VideoMat: Extracting PBR Materials from Video Diffusion Models
- 用微调视频扩散模型生成符合几何与光照的多视角视频。
- 通过内在分解提取基础色、粗糙度、金属度等材质属性。
- 结合可微路径追踪，直接输出兼容主流建模工具的PBR材质。
我们利用微调的视频扩散模型、视频内在分解以及基于物理的可微渲染，仅凭文本提示或单张图像即可为3D模型生成高质量的PBR材质。首先，将视频扩散模型进行条件约束，使其遵循输入的几何结构和光照条件，生成具有相干材质属性的多个视角视频。其次，采用最新方法从生成视频中提取内在属性（基底颜色、粗糙度、金属度）。最后，结合这些内在属性与生成视频，在可微路径追踪器中实现鲁棒的PBR材质提取，输出结果可直接用于常见的内容创作工具。
原文摘要 · Abstract (English)
We leverage finetuned video diffusion models, intrinsic decomposition of videos, and physically-based differentiable rendering to generate high quality materials for 3D models given a text prompt or a single image. We condition a video diffusion model to respect the input geometry and lighting condition. This model produces multiple views of a given 3D model with coherent material properties. Secondly, we use a recent model to extract intrinsics (base color, roughness, metallic) from the generated video. Finally, we use the intrinsics alongside the generated video in a differentiable path tracer to robustly extract PBR materials directly compatible with common content creation tools.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。