NeRF指的是神经网络中的3D场景，研究人员表示，一项新研究将使AI应用于动态场景，这使得NeRF可面向VR。
神经辐射场（NeRF）从图像中学习3D表示，然后可以从以往看不到的角度渲染3D场景，例如，这将能实现围绕物体进行360度摄像机巡视、通过无人机镜头进行飞行巡视或在餐厅内部漫步，不仅如此该技术还可以创建逼真的3D对象。
然而，在几乎所有情况下，NeRF场景或对象都是静态的，因为运动为训练过程引入了难以解决的时间维度，现在，一个新的工艺可以解决这个问题。
动态场景NeRF
在一篇新的研究论文中，来自布法罗大学、苏黎世联邦理工学院、InnoPeak Technology和图宾根大学的团队演示了从2D图像中学习4D表示的NeRF动态场景。
该演示以来自不同相机或单个移动相机的RGB图像为输入源。例如，图像中，一个人正在移动或有人正在将咖啡倒入玻璃杯中。
为了使动态场景具有自适应性，团队将演示分为了三种时间模式：静态、变形和新区域。在咖啡示例中，放置玻璃杯的木板保持静止，玻璃杯整体物被归类为新区域，可见的手被归类为变形，分解字段将场景划分为三个类别，每个区域都有专属神经域。
不仅如此，研究人员还将时间和空间维度解耦以改善表征。
NeRFPlayer启用NeRF流
与其他方法相比，动态场景分解表示显著减少了视觉伪影，该团队还演示了NeRFPlayer，这是一种以有限比特率实时流式传输学习表示的方法。
NVIDIA InstantNGP框架允许神经网络在几秒钟内学习千兆像素图像、3D对象和NeRF表示，也使得所提出的方法更快速。
“我们提出了一个框架，用于从多相机和单相机捕获的图像以表示动态场景，我们框架的关键组件是分解模块和特征流模块，分解模块将场景分解为静态、变形和新区域，然后设计了一种基于滑动窗口的混合表示以对分解的神经场进行建模，并通过多相机和单相机数据集实验验证了该方法的有效性。”
在论文中，该团队将虚拟现实中真实4D时空环境的视觉探索描述为可视化，并认为其研究有助于这一目标的实现，“在VR中自由可视化探索4D时空是一个长期追求，当仅使用几个甚至单个RGB相机来捕捉动态场景时，这项任务更具吸引力。”研究人员说。
来源：93913
投稿：tougao@arinchina.com
稿件/商务合作： Vicky（微信 ARC-vicky）电话：18700987744
创始人：张明军（微信 13720775110）
更多精彩内容，请关注ARinChina微信公众号(ID:X增强现实)
评论