未来的苹果Glass硬件可能会从平面视频中挤出3D AR和VR内容

苹果公司正在开发一种系统，该系统可以从平面视频内容生成混合现实或虚拟现实环境，使用户可以浏览并浏览只有二维的剪辑。

苹果公司在该主题上的研究已于周四由美国专利商标局发布，主题为“用于生成平面视频内容的合成现实重建的方法和设备”。该专利通过将合成现实或SR定义为数字生成的对象和环境而开始。SR本质上是Apple所说的广泛类别，包括虚拟现实，增强现实和混合现实。

(资料图片)

用户可以在设备上参与SR体验，无论是iPhone或iPad等手持设备还是传闻中的“ Apple Glass ”等头戴式设备。他们可以通过一种或多种感觉(包括视觉，味觉，嗅觉和触觉)与SR环境互动。

但是，该专利的大部分集中在可以从平面视频内容生成SR字符，对象和环境的系统上。换句话说，它可以将电视节目变成VR环境，用户可以使用上述设备进行浏览。

“用户可能希望体验视频内容(例如电视剧集或电影)，就像他/她和角色一起在场景中一样。换句话说，用户希望将视频内容视为SR体验，而不是简单地观看电视或其他显示设备上的视频内容。”

如Apple所述，大多数SR内容是“精心制作”的，并已添加到用户可以选择的库中。然而，该专利描述了一种用于通过“利用数字资产”以“无缝且快速地”将平面内容移植到SR体验中来生成视频内容的按需SR重建的方法。

该系统通过识别场景中的“情节效果器”，合成场景描述并通过“根据场景的场景描述来驱动与第一情节效果器相关联的第一数字资产”来生成场景的重构。 ”

正如苹果公司指出的那样，数字资产可能与“情节效应者”的视频游戏模型相对应-它被定义为视频内容中的角色或演员。

虽然系统可以基于视频内容生成SR重建，但它也可以从关联的文本内容和外部数据中提取信息。可能是视频剪辑中演员的照片，演员的身高和尺寸，场景的各种视图以及其他数据。

“在某些实现中，数字资产是至少部分基于视频内容和与视频内容相关联的外部数据即时生成的。在一些实现中，与视频内容相关联的外部数据对应于演员的图片，角色的高度和其他尺寸，布景和物体的各种视图(例如，平面图，侧视图，透视图等视图)等。”

有趣的是，苹果公司还指出，类似的SR生成系统可以基于音频和相关内容(包括有声读物，广播剧和其他纯音频内容)创建交互式场景。

专利的几个部分还详细说明了动作对象(或角色与之交互的对象)与不动作对象之间的区别。这种区别可以使SR系统提前知道场景中需要交互的对象类型。

该专利列出了发明人Ian M. Richter，Daniel Ulbricht，Jean-Daniel E. Nahmias，Omar Elafifi和Peter Meier。其中，迈耶(Meier)负责实时涵盖移动物体的AR专利，里希特(Richter)被任命为可识别头部手势的头戴式系统的发明者。

苹果每周都会申请大量专利，并且不能保证其中描述的技术会成功推向市场。同样，专利申请没有说明苹果何时可以使用该技术发布新产品。