苹果最初考虑使用可穿戴式个人投影仪实现现实世界的AR

人们通常认为增强现实包括应用数字图像来叠加来自现实世界的图像，让人产生世界上一个并不真实存在的物体的错觉。在绝大多数情况下，这将涉及到某种显示机制，它将位于用户的眼睛和现实世界之间，但在一种特殊情况下，根本没有使用头显。

苹果AR努力最初包括一个眼镜或无头显的版本，将数据投射到现实世界的物体上，其中包括一个概念，即用户佩戴投影仪本身。在美国专利和商标局周二授予苹果的一项名为 "将数字信息投射到真实环境中的真实物体上的方法和系统 "的专利中，苹果取消了屏幕，而是将数字图像应用到真实世界的物体本身。

虽然部分专利描述看起来相当简单，即使用某种形式的投影仪将图像投射到物理表面。然而，为了将数字图像正确地映射到物体上，该系统还使用其他传感器来检测环境和物体。系统捕捉到它要将投影映射到现实世界物体的图像，图像数据与来自深度传感器的信息相结合，创建物品的深度图。这被用来计算虚拟数据和真实物体之间的空间变换，然后应用程序可以用它来规划出哪些像素要投射到物体的什么地方。

苹果提出了一个带有深度传感器的相机系统，同时配备一个投影仪，用于现实世界的无屏AR。苹果并没有提到具体使用什么样的深度传感器，但提到了使用 红外光投影仪和红外光相机，这将类似于现代iPhone中TrueDepth相机阵列功能。

深度映射还包括估计物体的3D位置，以及数字信息在物体上应用的位置，与投影仪和用户的关系。这样就可以在叠加的图像上生成3D效果，而这些效果最好是根据感知到的用户的观看位置来计算。通过生成后续的图像和深度图，系统将能够抵消投影机的任何震动或移动，使投影的错觉在这种变化下仍然保持不变。

虽然将光线投射到物体上的想法并不新鲜，这个想法已经被用于艺术和商业目的很多年了，但苹果的专利主要涉及的是需要反复校准投影，让投影尽可能准确。据悉，这可以包括将汽车内的数据投影到表面上，比如挡风玻璃上的速度表，理想的情况是需要不断校准，以保持用户的可读性。