早在2015年,苹果公司收购了苏黎世的创企Faceshift,该公司的技术最终被用于创建Animoji和Memoji。美国商标专利局在2019年授予苹果一项源于Faceshift的专利。而苹果获得的关键Faceshift专利之一最早可以追溯到2013年,现在这项专利由美国专利局在2023年1月26日公布。
该专利的主要发明人是苹果高级软件工程师Mark Pauley和Faceshift最初的工程师之一Sofien Bouaziz。Bouaziz在他的简介中写道:“设计、开发和产品化了为iPhone X Animoji提供动力的实时人脸追踪算法,也可通过ARKit提供给第三方开发者。” Bouaziz于2018年离开苹果进入谷歌工作,而他现在是Meta的XR Presence总监。
从技术上讲,该发明涉及一种实时面部动画的制作方法及一种处理设备。该方法包括提供一个动态表情模型,接收对应于用户面部表情的追踪数据,根据动态表情模型和追踪数据估计追踪参数,并根据追踪数据和估计的追踪参数完善动态表情模型。该方法可进一步包括基于追踪参数生成与用户的面部表情相对应的图形表示。本实施方案涉及一个实时面部动画系统。
苹果公司的专利图1显示了该专利一个实施例的动态表情模型示意图;图3显示了一个优化管道的流程图。
苹果公司的专利图4显示了使用所披露主题的实施方案生成的虚拟化身的图形表示;图5是根据一个实施例的方法流程图。
苹果公司的专利图7显示了用于近似用户面部表情的不同混合形状权重集;图8描述了根据一个实施例使用不同动态表情模型对中性面部表情进行初步估计的结果。
想了解更多专利细节,请查阅苹果的专利申请US 20230024768 A1。
评论