Meta“Codec Avatars”支持基于iPhone扫描生成

据UploadVR报道，Meta“Codec Avatars”现在可以通过iPhone扫描生成。

Facebook于2019年3月首次展示了“Codec Avatars”，其基于一个配置有5个摄像头（2个摄像头内部观察、3个摄像头外部观察）的原型VR头显构成的多神经网络而驱动，而经过多次例如“更逼真的眼睛”、“支持眼动追踪和麦克风输入”等优化改进，Codec Avatars 2.0版本已接近具备完全真实感。

以往，生成一个单独的“Codec Avatar”需要通过“MUGSY”专用捕获设备和171个高分辨率摄像机共同完成，如今，Meta的最新研究摆脱了这一要求，基于配备了前置深度传感器的智能手机（例如带有FaceID的iPhone），用户扫描面部后便能生成虚拟化身（可同时复制65个面部表情）。

研究人员称，面部扫描过程平均只需3分半钟，而实际生成具有完整细节的虚拟化身则需要6个小时，不过Meta“Codec Avatars”虚拟化身生成过程或通过云端执行，而无须通过用户设备。

那么，过去需要100多个摄像头的捕获成像，现在是如何做到只需要一部手机就能达成呢？这其中的诀窍在于“超网络”（hypernetwork、权重神经网络），为此研究人员通过采用先进的捕获设备（类似于MUGSY，但只有90个摄像头）扫描255个不同个体的面部以训练“UPM超网络”。

尽管已有其他研究人员展示了基于智能手机扫描的虚拟化身，但Meta声称其结果是最先进的，目前，该系统还无法处理眼镜及长发，并且仅限于扫描面部。

当然，要达到产品交付的保真度，Meta还有很长的路要走，今天的“Meta Avatars”具有鲜明的卡通艺术风格，且虚拟角色的真实性实际上会随着时间的推移而降低，这使得其可能更适合通过Quest 2驱动的「Horizon Worlds」等大型社交应用。

最终，“Codec Avatar”会成为一个单独的选项，而不是当今卡通化身的直接更新，在接受Lex Fridman采访时，Meta首席执行官扎克伯格描述了这样一个未来，你可能会在休闲游戏中采用“表现主义”化身，而在工作会议中采用“现实主义”化身。今年4月 ，“Codec Avatar”负责人Yaser Sheikh曾表示，暂且无法预测该系统的具体推出时间。