2023年4月12日消息——Magic Leap宣布将与英伟达合作,在英伟达的Omniverse平台上开创沉浸式、逼真的光线跟踪数字孪生,以便在工程、架构、零售和其他行业创造新价值和更高效率。
Magic Leap开始与英伟达合作以便找到一种方法来使其Magic Leap 2增强现实(AR)头戴设备能够实现1:1比例的3D数字模型的离线计算和流媒体传输。根据Magic Leap的说法,此次合作允许企业用户在不影响视觉质量的前提下,从英伟达 Omniverse平台到Magic Leap 2进行沉浸式、全尺寸的数字渲染和孪生流媒体传输,并将通用企业建模程序集成到用户界面。
那么在AR领域内,我们不得不提到爱普生,爱普生一直致力于AR设备的研发创新与应用,并已在AR技术领域持续耕耘了十余载。2022年11月5日,在第五届中国国际进口博览会上,爱普生重磅发布了工业级AR智能眼镜新品Moverio BT-45C和Moverio BT-45CS,助力工业、文旅、教育等行业的数智化升级。其亮点在于不仅实现了高亮度、高分辨率、高对比度的优质画面显示,还具备更紧凑小巧的眼镜机身;而且也提升了耐用性和舒适性,更适合远程协作、工作流程指导、培训等工业级应用场景。
两家公司关注的技术进步包括:
- 光线跟踪和深度学习超采样(DLSS),能够以高度详细的、逼真的质量渲染内容;
- Magic Leap动态调光技术,消除显示器99.7%的环境光,使AR在更多种明亮的照明条件下可用;
- 数字内容的精确环境照明与反射;
- 基于深度的重投影能力,消除延迟,并将数字内容持久锚定在用户环境中。
为了让设计和3D建模更高效,并使创建,设计和协作的企业和专业人员在Magic Leap 2设备上渲染形状准确逼真的数字孪生,Magic Leap创建了一个全能扩展,从最常见的企业建模工具,如Autodesk Maya,渲染内容到头显,而不需要转换或优化。内容以USD文件的形式存储在Omniverse Nucleus中。在Nucleus中,用户可以实时编辑和协作内容。
只需点击“View on Magic Leap”,图像就会在服务器上渲染并以流媒体传输到Magic Leap 2中,在那它会立即以正确的位置、方向和比例显示给用户。Omniverse的核心XR扩展将自动渲染高质量的立体图像,并将它们提交给工业标准OpenXR API。
然后,服务器端OpenXR远程渲染运行时利用英伟达GPU加速来合成和编码立体图像。最后,这些图像通过网络传输,在Magic Leap 2上接收、解码和显示。
Magic Leap 2还不断将头部姿势、眼球跟踪、控制器状态和其他输入数据发送回服务器,并通过OpenXR显示给Omniverse。在后端,其他用户可以继续实时编辑USD内容,并立即渲染并流媒体到Magic Leap 2。
Magic Leap表示,通过利用Magic Leap 2的许多功能和英伟达RTX GPU,该解决方案有助于解决常见的挑战,包括:
- 重投影减少延迟并锁定内容——Magic Leap 2可以接受超过100毫秒的端到端延迟,同时为用户保持沉浸式的体验;
- 英伟达RTX光线跟踪和DLSS实现了真实感质量;
- 动态调光技术使内容不透明,并添加具有行为真实感的阴影;
- 准确的环境照明和反射确保沉浸式状态。该公司补充说,他们正在积极研究通过动态照明估算使这一功能更加真实的方法。
Magic Leap指出将继续与英伟达合作,并将基于其在数字孪生技术方面的进步,为企业用户提供更大的价值。通过更具沉浸感和可访问的数字孪生,团队可以加速设计,深化协作,并转变设计评审和其他体验。
Magic Leap与Omniverse的整合目前处于早期进入阶段,预计将于今年上半年发布。
评论