美国专利商标局正式公布苹果一项专利申请,该专利申请涉及具有用于输出计算机生成图像系统的电子设备。这似乎是一项与生成式人工智能相关的专利,特别是考虑到该项目的首席工程师是机器学习研究杰出科学家Oncel Tuzel,其在LinkedIn个人资料指出:“之前我们发布了OpenELM,现在,发布了CatLIP(开放视觉FM)。”
苹果在其专利背景指出,一些电子设备可包含用于生成三维物体的真实图像(例如面部图像)的系统。三维(3D)生成框架已开发,基于最先进的二维卷积神经网络图像生成器以生成逼真的人脸图像;现有3D生成框架对从初始视点捕获的对象或场景的几何形状、外观和颜色进行建模,并能从新视点渲染对象或场景新图像;然而,现有3D生成框架无法在不同的光照条件下渲染新图像。
具有可控场景照明的图像生成系统
该电子设备可配备有基于光照的图像生成系统,该系统能生成三维对象的真实感图像,例如面部图像;基于光的图像生成系统可在不同场景/环境照明条件下和从不同角度生成任何给定3D对象的图像。
生成场景中对象图像的方案可包括:接收关于场景照明信息和场景对象的视角;基于接收到的照明信息和视角提取相应的特征;基于提取特征,并根据解码的漫反射和镜面反射参数渲染一组图像;提取的特征可为三平面特征;该组图像可使用体绘制操作来获得。
操作图像生成系统以生成3D对象图像的方案还可包括使用相机捕捉3D对象的图像、调节图像生成系统以生成3D对象的图像、以及生成3D对象的图像基于使用漫反射和镜面反射照明参数在不同照明条件下的训练模型;漫射和镜面照明参数可单独解码;训练模型可为使用真实人脸的未标记地面实况图像进行训练的3D生成模型;图像生成系统可用于生成用户在不同环境光照条件下和不同姿势下的化身。
苹果专利图1为具有“基于光照的图像生成器”和“位置和运动传感器”的说明性电子设备示意图;图9为采用图像生成系统的说明性步骤流程图。
评论