告别VR噩梦！Meta Reality Labs破解虚拟痛点，重塑全新(xīn)VR世界
【新(xīn)智元导读】在SIGGRAPH 2023大会上，来自Meta Reality Labs的两个原型机让我们看到了「未来的一瞥」。
「世界上有(yǒu)两种人： 认為(wèi)VR将改变世界的人，以及还没尝试过VR的人。 」
这是VR界宣传自己的一句陈词滥调了。
但对于第一次體(tǐ)验VR的人来说，那一刻带来的冲击力是毋庸置疑的。
未来VR很(hěn)有(yǒu)可(kě)能(néng)成為(wèi)我们生活那种的一部分(fēn)，8月6日至10日在洛杉矶举行的SIGGRAPH 2023大会上，来自Meta Reality Labs Research的两个原型机将会给我们机会看到这「未来的一瞥」。
Yang Zhao和Grace Kuo
第一个是Butterscotch Varifocal，它将Half Dome系列原型的变焦技(jì )术与我们在2022年首次亮相的视网膜分(fēn)辨率VR显示器结合了起来。
Yang Zhao佩戴Butterscotch变焦研究原型机
第二个是Flamera，它是一款计算相机，采用(yòng)光场技(jì )术实现无需再投影的VR穿透（passthrough）。
就像我们在2021年首次分(fēn)享的反向穿透（reverse passthrough）演示一样，它的外观和功能(néng)与现代头戴式设备迥然不同，甚至看上去有(yǒu)些奇怪，但仔细研究后会发现它并不像乍看之下奇异。
Grace Kuo佩戴Flamera研究原型机
现在，Butterscotch Varifocal和Flamera都还处于研究阶段。
Butterscotch 变焦镜头：聚焦细节
现今的头戴式设备在虚拟世界的沉浸感方面做得非常出色，但仍受限于固定的焦距。
大部分(fēn)人能(néng)够识别距离眼睛约1米左右的物(wù)體(tǐ)，但物(wù)體(tǐ)与我们的脸部靠得太近，就很(hěn)难清晰进行视觉聚焦。
大多(duō)数VR开发者设计时都会考虑到这一点，调整虚拟场景中(zhōng)的物(wù)體(tǐ)和动作(zuò)的距离，让用(yòng)户在一个较為(wèi)自然和舒适的距离内看到虚拟世界中(zhōng)的事物(wù)，并保持清晰的视觉焦点。
但在使用(yòng)VR进行工(gōng)作(zuò)时，有(yǒu)时会需要在虚拟屏幕上阅读文(wén)本，或者是观察一个有(yǒu)趣的物(wù)體(tǐ)，欣赏其中(zhōng)的细节。
这时传统VR头显通常具(jù)有(yǒu)的固定焦距就成為(wèi)了阻碍。
Butterscotch Varifocal中(zhōng)的「varifocal」 即「变焦」。它利用(yòng)眼动追踪技(jì )术，能(néng)够在用(yòng)户接近物(wù)體(tǐ)或虚拟屏幕时，根据用(yòng)户的视觉焦点动态调整焦距。
同时，Butterscotch Varifocal还结合了视网膜分(fēn)辨率显示屏（retinal-resolution），确保保用(yòng)户能(néng)够清晰地看到近距离的细节，也能(néng)在遠(yuǎn)距离看到整个虚拟场景。
Butterscotch Varifocal致力于提高分(fēn)辨率和增强视觉舒适性，实现了变焦技(jì )术并配备了视网膜级别的分(fēn)辨率显示屏，大约每度显示60个像素（PPD），这足以达到人眼视力分(fēn)辨的极限。
Flamera：穿透功能(néng)（Passthrough）的全新(xīn)尝试
一般来说，VR头显的带来的沉浸感越强越好。但完全与现实切断联系也会带来许多(duō)麻烦。
混合现实（MR）和穿透功能(néng)（Passthrough）能(néng)够让虚拟世界与物(wù)理(lǐ)现实融合。
这样一来，虚拟内容可(kě)以带到物(wù)理(lǐ)环境中(zhōng)。同时，用(yòng)户在沉浸式的虚拟空间中(zhōng)也可(kě)以捕捉到现实世界的画面。
这个功能(néng)主要是通过VR头显上的摄像头实现的，它通常在眼睛前方几英寸的地方。
即当用(yòng)户启用(yòng)穿透功能(néng)时，头显上的摄像头就会捕捉周围的实际环境，并将图像传递到虚拟现实环境中(zhōng)，使用(yòng)户可(kě)以在虚拟世界中(zhōng)看到现实世界的画面。
但这里存在着一个问题：
摄像头捕捉到的视图与人眼看到的不同，尽管图像在返回时会重新(xīn)计算并投影给用(yòng)户，但这很(hěn)可(kě)能(néng)会在这个过程中(zhōng)发生视觉异常。
為(wèi)了解决这一挑战，Grace Kuo表示：他(tā)们设计了一种光學(xué)架构，可(kě)以直接捕捉与肉眼看到的光線(xiàn)相同的光線(xiàn)。
為(wèi)了让这个具(jù)有(yǒu)特殊架构适配VR头显，Reality Labs Research团队从头开始设计头显，最终得到了能(néng)够实现更好的穿透图像质(zhì)量和更低的延迟的摄像头。
Grace Kuo
Demo or Die：通往SIGGRAPH之路
長(cháng)久以来，团队一直秉持着「要么展示，要么死亡」（Demo or Die）的精(jīng)神。
Lanman介绍说，「Demo or D ie」一词起源于MIT媒體(tǐ)实验室，成千上万的研究人员在那里學(xué)会了这个口头禅。
他(tā)表示，关键是要使用(yòng)demo来解释「為(wèi)什么」，而不是「什么」，比如為(wèi)什么他(tā)们想要变焦、光场直通和HDR。
SIGGRAPH技(jì )术的核心，就是演示新(xīn)兴的、硬件驱动的技(jì )术，鼓励SIGGRAPH社區(qū)用(yòng)他(tā)们的才能(néng)解决计算机图形和交互方面的问题。
Starburst取得了令人振奋的成功，并斩获了SIGGRAPH 2022的新(xīn)兴技(jì )术最佳展示奖。
以下是一些团队希望告诉读者的话——
直通是一项重要的技(jì )术，可(kě)以让人们在戴着头显时与周围环境保持联系。
通过构建不受商(shāng)业化产(chǎn)品限制的demo，我们可(kě)以测试新(xīn)技(jì )术，展示VR中(zhōng)的不同體(tǐ)验。
我希望，尝试过我们demo的人能(néng)够一窥未来的VR会是什么样子——即使头显的外观与我们今天习惯的外观大不相同。
——Grace Kuo
通过我们的工(gōng)作(zuò)，我希望人们可(kě)以从第一人称的角度看到，VR可(kě)以為(wèi)他(tā)们解锁哪些體(tǐ)验和能(néng)力。
——Yang Zhao
虽然这种VR不会立即在商(shāng)店(diàn)里买到，但如果需求存在，技(jì )术继续进步，就很(hěn)可(kě)能(néng)会有(yǒu)那样一天。
——Olivier Mercier
「VR的可(kě)能(néng)性与目前市场上可(kě)用(yòng)的功能(néng)之间存在很(hěn)大區(qū)别。我们的两个SIGGRAPH新(xīn)兴技(jì )术demo提供了一个独特的机会，让我们看到如果每个轴都被推到更高的质(zhì)量，在不考虑实际生产(chǎn)限制的情况下，可(kě)以创造出多(duō)么逼真的虚拟體(tǐ)验。
我希望那些计划参加SIGGRAPH的人仔细看这两个demo。SIGGRAPH是一个非常有(yǒu)才华的學(xué)术社區(qū)，如果只有(yǒu)一小(xiǎo)部分(fēn)成员将注意力转移到这些挑战上，都会推动时间線(xiàn)，在VR/MR中(zhōng)开发更好的视觉體(tǐ)验。
对于那些SIGGRAPH以外的人，我希望他(tā)们从中(zhōng)寻求解决方案，来应对这些跨越硬件和软件的艰巨挑战。
——Douglas Lanman
One More Thing...
那么，我们应该选择去工(gōng)业界还是去研究实验室呢(ne)？
Lanman认為(wèi)，在研究团队中(zhōng)，可(kě)以构建任何给定概念的原型。
但必须承认，这些原型中(zhōng)的大多(duō)数并不会成為(wèi)消费产(chǎn)品，它们对于大规模生产(chǎn)是不切实际的，比如需要妥协产(chǎn)品尺寸、重量、成本或功率，或者需要等待几种技(jì )术成熟。
以变焦為(wèi)例，团队从1990年代的论文(wén)中(zhōng)了解了这个概念，2015年才首次开始研究，2018年开始公(gōng)开谈论。
在那段时间里，Oculus（现在的Meta Quest）作(zuò)為(wèi)一家初创公(gōng)司快速发展，并推出了三代头显。
产(chǎn)品团队的责任是快速行动，而只有(yǒu)研究界才拥有(yǒu)特权考虑未来某一天的事情，而不是现在需要发生的事情。
因此，在作(zuò)為(wèi)一名(míng)研究界科(kē)學(xué)家工(gōng)作(zuò)了二十年后，我的看法是：研究的主要职责是指出产(chǎn)品还欠缺什么。
没有(yǒu)人要求变焦或解决会聚-调节冲突，光场直通或反向直通。
我们需要和更广泛的SIGGRAPH社區(qū)仪器，实现计算成像概念，拉动时间表。
近十年来，我们一直在讨论新(xīn)兴的显示技(jì )术，比如变焦。
虽然无法说出，何时这些技(jì )术能(néng)应用(yòng)于产(chǎn)品，但demo会说服大多(duō)数人：这些挑战值得解决。
参考资料：