RodinHD

RodinHD是一个利用扩散模型生成高保真3D虚拟头像的系统。该系统旨在解决现有方法在捕捉复杂细节如发型等方面的不足。研究团队首先指出了在连续拟合多个虚拟头像时出现的灾难性遗忘问题，这种问题是由MLP解码器共享机制引起的。为了解决这个问题，研究团队提出了一种新的数据调度策略和权重整合正则项，从而提高了解码器渲染细节的能力。

此外，RodinHD通过计算更细粒度的层次表示来优化肖像图像的指导效果，这些表示捕捉了丰富的二维纹理信息，并通过交叉注意力在多个层次上将其注入3D扩散模型中。该模型在经过优化噪声调度的46,000个虚拟头像上训练后，能够生成比以往方法细节更丰富的3D虚拟头像，并能够适应来自野外的肖像输入。

该框架包含两个阶段：拟合阶段和生成阶段。在拟合阶段，它为每个头像学习高分辨率的三平面和一个共享解码器以渲染图像。在生成阶段，它学习一个基础扩散模型和一个上采样扩散模型，以级联方式生成高分辨率的三平面。通过分层方式将条件肖像图像注入扩散模型中，以增强生成三平面中的复杂细节。

该研究在ECCV 2024上发表，作者们分别来自中国科学技术大学、清华大学和微软亚洲研究院。研究还包含了一些视觉对比和方法详解，进一步展示了RodinHD在生成高清3D虚拟头像方面的卓越表现。研究代码即将发布。