12月20日 消息:VOODOO3D是一项可以将一个人的表情和动作精准地复制到另一个人的3D模型上的技术。
这项技术使得虚拟的3D人物模型能够模仿真实人的表情和头部动作,而且是实时的。通过摄像头输入,当真人改变表情或头部姿势时,3D模型也会立即做出相同的反应。
项目地址:https://p0lyfish.github.io/voodoo3d/
主要特点包括一次性头部再现、全息显示、多视角渲染和高保真度。VOODOO3D技术的实现基于几个关键技术,包括3D提升网络(Lp3D)、体积解耦、三平面渲染和实时渲染。
3D提升网络是VOODOO3D中的核心网络,用于处理面部图像并将2D面部图像转换成3D辐射场,从而创建一个详细的3D模型。而体积解耦则用于区分源图像和驱动视频帧的信息,使得源身份和目标表情可以独立处理。
三平面渲染使用从驱动视频中提取的表情信息来控制源图像的3D模型,从而允许从任意视角渲染头部图像,增加了输出的真实感和多样性。最后,实时渲染能够实时渲染多达45个不同视角的图像,适用于全息显示和3D视频会议系统等应用。
VOODOO3D的应用场景包括3D视频会议、虚拟现实(VR)和增强现实(AR)、电影和游戏制作,以及社交媒体和娱乐。这项技术能够实时生成高保真、视角一致的输出,解决了现有方法中的身份泄露和表情不自然问题,提供更加沉浸和真实的体验。