3月4日 消息:近日,Beeble AI与纽约大学联手发布了一项新的研究成果,一种创新的人像重照明技术。这项技术能够在非常低的成本下,将人物与虚拟环境的光照完美融合,效果令人印象深刻。
论文地址:https://arxiv.org/pdf/2402.18848.pdf
这项技术的关键在于他们提出的新模型,该模型能够从图片和视频中提取出丰富的深度信息,包括反照率、法线、深度、粗糙度、镜面反射和照明等信息,这一切都可以从单个图像中提取出来。
他们的研究论文详细介绍了这项技术。他们提出了一种全新的人像重照明技术,这是一种融合物理指导架构和预训练框架的协同设计方法。这种方法基于库克-托伦斯(Cook-Torrance)反射模型,他们精心设计了架构,从而能够精准地模拟光线与物体表面的交互效果。
为了解决高质量光源数据稀缺的问题,他们还开发了一种自我监督的预训练策略。这种结合了精确物理建模和扩展训练数据集的创新方法,使得他们的人像重照明技术在真实感上达到了新的高度。
总的来说,Beeble AI和纽约大学的合作,为我们带来了一种新的人像重照明技术,这种技术不仅成本低廉,而且效果出色,为未来的图像处理和虚拟现实技术开辟了新的可能性。