硬件分析師 Brad Lynch 認(rèn)為，Meta Quest Pro 將采用經(jīng)過改進(jìn)的 XR2 處理器，較現(xiàn)有的 XR2 處理器同比性能提升 30%。分析師郭明錤預(yù)測，Quest Pro 將使用單眼 2160×2160 分辨率的面板。

在訪談中，扎克伯格還談到了元宇宙社交，他認(rèn)為，從文字、圖像、再到視頻，社交媒體的載體正朝著更大的信息容量演變，而下一個能比視頻承載更多信息量的載體，就在 VR 領(lǐng)域。

此前，扎克伯格親自下場推薦自家的社交平臺 Horizon Worlds，并發(fā)表了一張 VR 自拍。雖然照片遭到全網(wǎng)群嘲，不過扎克伯格還是為 Horizon Worlds 帶起了一波全網(wǎng)熱度。

▲扎克伯格的 VR 自拍

近來，Meta 在元宇宙領(lǐng)域的動作頻繁。今年 6 月，Meta 的 VR 部門 Reality Labs 推出了四款 VR 頭顯原型機(jī)，分別展示未來 VR 設(shè)備的 4 個關(guān)鍵技術(shù)演進(jìn)方向：高分辨率、高動態(tài)范圍（HDR）、輕薄外形、降低暈眩感的變焦技術(shù)優(yōu)化。在 8 月舉辦的 SIGGRAPH 大會中，Meta 的顯示系統(tǒng)開發(fā)負(fù)責(zé)人 Douglas Lanman 發(fā)表演講，為我們介紹了攻破 VR 技術(shù)瓶頸的十大挑戰(zhàn)。

在 SIGGRAPH 2022 大會上，外媒 Auganix 的記者 Sam Sprigg 特別體驗(yàn)了主打 HDR 功能的 VR 原型機(jī) Starburst。Oculus Quest 2 是 Meta 迄今推出的 VR 一體機(jī)巔峰之作，去年出貨量突破千萬臺，是史上最暢銷的 VR 產(chǎn)品，而 Starburst 的峰值亮度足足有 Quest 2 的 200 倍。

那么，Meta 的元宇宙布局究竟是怎樣的？Meta 的原型機(jī)體驗(yàn)起來到底如何？Meta 的百億研發(fā)都投入到了哪里？讓我們帶著這些疑問，一起來看看 Meta 在 VR 領(lǐng)域上的最新發(fā)展。

一、為探索四大研究領(lǐng)域，Meta 發(fā)布四款原型機(jī)

今年 6 月，Meta Reality Labs 公布了四款不同技術(shù)領(lǐng)域的 VR 頭顯原型機(jī)。

Butterscotch 探索分辨率技術(shù)、Starburst 探索 HDR 技術(shù)、Holocake 2 探索 VR 頭顯的輕薄外形打造技術(shù)、Half Dome 系列探索變焦技術(shù)。這四款原型機(jī)分別代表了 Meta 在四個 VR 頭顯研發(fā)領(lǐng)域取得的最新進(jìn)展。

此前，Meta 的 CEO 馬克 · 扎克伯格曾提出視覺圖靈測試（Visual Turing test）的概念。簡單來說，視覺圖靈測試的考核標(biāo)準(zhǔn)就是虛擬圖像能否以假亂真，讓人眼無法分辨出虛擬圖像與真實(shí)圖像。扎克伯格表示，視覺圖靈測試有兩個重點(diǎn)，即照片級真實(shí)感和臨場感。

▲不同 VR 頭顯分辨率對比

而讓圖像更加逼真的方法之一，就是盡可能地提升圖像的分辨率。為此，Meta 研發(fā)了原型機(jī) Butterscotch，其特點(diǎn)就是具有 " 視網(wǎng)膜級別 " 的分辨率。

Butterscotch 的 PPD 達(dá)到 55，很接近每 1 度角 60 像素的 " 視網(wǎng)膜分辨率 " 水平，其分辨率是 Quest 2 的 2.5 倍，Meta Reality Labs 科研部門 DSR 團(tuán)隊(duì)光學(xué)科學(xué)家 Yang Zhao 說，Butterscotch 的定制透鏡模組中，有兩個高精度玻璃鏡片，鏡片的表面質(zhì)量更高，但也更重。此外，還有一個可衍射光線的特制透鏡。玻璃透鏡與衍射透鏡組合后，即可呈現(xiàn)清晰的圖像。

▲ Starburst 原型機(jī)

Starburst 原型機(jī)的特點(diǎn)是具備高 HDR（高動態(tài)范圍成像）功能，其背光的最大亮度可達(dá) 20000nit，是現(xiàn)有 VR 頭顯 Quest 2 的 200 倍。Meta Reality Labs 團(tuán)隊(duì)開發(fā) Starburst 的目的是在虛擬環(huán)境中還原完整的室內(nèi)照明，并探索能讓用戶實(shí)現(xiàn)最佳沉浸體驗(yàn)的理想亮度。

Starburst 采用 COB LED（常用于車燈上的 LED）取代原來的 LCD 屏幕背光，這在很大程度上提高了 LCD 的背光亮度，但也產(chǎn)生了更多的熱量。因此，Starburst 還配備了風(fēng)扇和 3D 打印散熱底架。但是設(shè)備整體比較笨重，且耗電嚴(yán)重。在四項(xiàng)技術(shù)中，這項(xiàng)技術(shù)離上市的距離最遠(yuǎn)。

▲ Holocake 2 原型機(jī)

Holocake 2 原型機(jī)的特點(diǎn)是輕薄，可以提升 VR 頭顯的佩戴舒適度。Holocake 2 是一款 PC VR 設(shè)備，雖然它的外形輕薄，但是它需要額外的計(jì)算和電池組件空間，采取分體式設(shè)計(jì)。

▲ Half Dome 發(fā)展史

Half Dome 是基于 Oculus Rift 改造的 VR 頭顯原型機(jī)，其特點(diǎn)是采用可變焦透鏡。從第三代開始，Half Dome 的透鏡從機(jī)械系統(tǒng)升級為電子變焦系統(tǒng)，減少了機(jī)械噪音和震動。Half Dome 3 有 32 個可切換的焦點(diǎn)平面。據(jù)體驗(yàn)者透露，通過 Half Dome 的動態(tài)變焦玩《Lucky ’ s Tale》等游戲時，視野里的圖像焦點(diǎn)可以根據(jù)手柄移動的距離而變化。

二、Starburst 峰值亮度為 20000nit，是 Quest 2 的 200 倍

在本月舉辦的計(jì)算機(jī)圖形頂會 SIGGRAPH 2022 上，外媒 Auganix 的記者 Sam Sprigg 特別體驗(yàn)了主打 HDR 功能的 VR 原型機(jī) Starburst。Oculus Quest 2 是 Meta 迄今推出的 VR 一體機(jī)巔峰之作，去年出貨量突破千萬臺，是史上最暢銷的 VR 產(chǎn)品，而 Starburst 的峰值亮度足足有 Quest 2 的 200 倍。

在展會現(xiàn)場，兩臺 Starburst 被掛在一個框架上供參與者體驗(yàn)。Starburst 的重量約為 2.5 公斤，這個數(shù)字對于頭戴式設(shè)備而言，有點(diǎn)太大了。Sam Sprigg 說：" 它太重了，你無法把它戴在頭上，只能把它舉到臉前。" 并且，Starburst 需要大量電力支持其高亮度顯示，所以它被固定在了框架上。

▲兩臺 Starburst 被懸掛在一個架子上

Starburst 的亮度是用 "nit" 來衡量的，Sam Sprigg 稱，室內(nèi)環(huán)境的亮度超過 10000nit，而 Starburst 的峰值亮度為 20000nit。而 Meta 曾表示，Quest 2 的峰值亮度約為 100nit，Starburst 的峰值亮度是 Quest 2 的 200 倍。

而 20000nit 的峰值也可以在一定程度上解釋 Starburst 的 " 笨重 "。高亮度也會產(chǎn)生高熱量，為了散熱，Starburst 配備了大型的鋁散熱器。Meta 的顯示系統(tǒng)研究團(tuán)隊(duì)（Display Systems Research，DSR）的研究科學(xué)家 Nathan Matsuda 說，鋁散熱器至少占了設(shè)備重量的 50%。此外，設(shè)備頂部有一個大型風(fēng)扇，可以吸收散熱器中的熱量。

▲ Starburst 由 36 個零部件組成

不過，Starburst 的分辨率較低，約為 2560×1620 像素，比 Quest 2 略低。不過，這也可以讓人接受。因?yàn)?Starburst 主要展示 HDR 的解決方案，至于高分辨率，那是 Butterscotch 該探索的方向。

Starburst 同時使用彩色和單色 LCD（液晶顯示器）。Matsuda 表示，這是因?yàn)閱蝹€ LCD 在低光下的對比度較差，而兩個彩色 LCD 又會吸收大部分光線，降低顯示效果。因此，將彩色和單色 LCD 串聯(lián)使用，就可以獲得最佳的顯示效果。

為了專注探索 HDR 技術(shù)，Starburst 在畫面的刷新率和視野方面做出了妥協(xié)。不過，Sam Sprigg 稱，這種妥協(xié)并沒有影響 Starburst 在 HDR 和亮度方面的表現(xiàn)。

▲ Sam Sprigg" 戴著 "Starburst

Starburst 演示的第一部分就是在虛擬空間設(shè)置一個光源，再放置一些球體來顯示反射光源。Sam Sprigg 稱，在 10000nit 顯示范圍下，這與 Quest 2 的體驗(yàn)相同，沒有什么特別的地方。

但是，當(dāng)亮度上升到 10000nit 時，他能感受到更明顯的亮度。展示 10000nit 光線時，演示切換到了海洋日落景觀。太陽穿過云層，光線打在海洋的波浪上，水面波光粼粼。然后，光線上升到了峰值 20000nit，畫面中有一個虛擬的太陽。Sam Sprigg 稱，他覺得自己仿佛看到了真實(shí)的太陽，因?yàn)楣饩€實(shí)在太亮了。最后，太陽落山時，海浪發(fā)出了微弱的反光。這個演示令人印象深刻。

▲放置球體測試光源

Sam Sprigg 稱，他在 Starburst 中直視 20000nit 的光源可能跟盯著 60 瓦燈泡的感覺差不多。但是，VR 中的光源距離他的眼睛只有幾英寸，這個距離很近。他認(rèn)為，這種亮度顯示可以為用戶帶來更加真實(shí)且富有沉浸感的體驗(yàn)。

但是，Sam Sprigg 也指出，功率、熱量、外形是限制 VR 頭顯發(fā)展 HDR 技術(shù)的重要阻礙。他認(rèn)為，我們可能還需要很長的時間，才能等到能夠輸出 20000nit 的成熟上市產(chǎn)品。

三、困難重重，VR 頭顯面臨十大技術(shù)挑戰(zhàn)

目前 Meta 雖然在 VR 頭顯上已經(jīng)取得了一些技術(shù)進(jìn)展，但仍然遇到了很多目前無法解決的技術(shù)瓶頸。在 SIGGRAPH 大會的演講中，Meta 顯示系統(tǒng)開發(fā)負(fù)責(zé)人 Douglas Lanman 為我們提供了一些參考方向——要想將 VR 體驗(yàn)提升到新的高度，目前有十大挑戰(zhàn)亟待解決！

誰能率先攻破這些挑戰(zhàn)，誰就有望在愈演愈烈的元宇宙硬件入口搶奪賽中，爭得先機(jī)。

1、分辨率：Meta 開發(fā) Butterscotch 原型機(jī)，致力提高分辨率

為了提高用戶的沉浸感，讓虛擬世界看起來更加逼真、清晰，VR 頭顯必須擁有更高的分辨率。目前的 VR 頭顯分辨率離人類視覺水平還非常遙遠(yuǎn)。

Meta 表示，他們的初步目標(biāo)是實(shí)現(xiàn)單眼 8K 分辨率和 60PPD（像素密度）。但是目前 Quest 2 只達(dá)到了單眼 2K 分辨率和 20PPD，距離這一目標(biāo)還有較遠(yuǎn)距離。

為了提高 VR 頭顯的分辨率，Meta 開發(fā)了專注探索分辨率的 Butterscotch 原型機(jī)。在這方面，高分辨率顯示器的開發(fā)和生產(chǎn)并不是難點(diǎn)，難點(diǎn)在于如何為高分辨率顯示器配備相應(yīng)的計(jì)算能力。Lanman 指出，注視點(diǎn)渲染（Foveated Rendering）和云流送（Cloud streaming）兩種技術(shù)或許有助于提升計(jì)算能力，但是這兩種技術(shù)本身的研發(fā)難度也很大。

▲上面是普通模糊處理的 VR 效果，下面是注視點(diǎn)渲染技術(shù)模糊效果

2、視場角：VR 頭顯視場角比人眼小一倍

人類的平均水平視場角為 200 度，而目前大多數(shù)商用 VR 頭顯的水平視場角為 100 度。這意味著 VR 頭顯的視野范圍比我們在真實(shí)環(huán)境中看到的更窄。此外，在垂直視場角方面，VR 頭顯也有改進(jìn)的余地。

視野越寬，VR 頭顯呈現(xiàn)的像素也越多。這就要求更高的功率和更多的廢熱（waste heat）。此外，視線范圍變寬后，視線范圍邊緣的圖像容易失真。因此，更寬的視線范圍需要更好的透鏡技術(shù)支持。并且，研究人員還要確保鏡頭和顯示器的構(gòu)建方式不會增加 VR 頭顯的外形尺寸。

3、人體工程學(xué)（Ergonomics）：VR 頭顯佩戴舒適度不夠

目前大多數(shù) VR 頭顯都會略顯 " 笨重 "，例如 Quest 2 的重量超過 500 克，其設(shè)備厚度（從面部突出的距離）達(dá) 8 厘米。這樣的設(shè)備顯然不會為用戶帶來很好的佩戴體驗(yàn)。理想的 VR 設(shè)備應(yīng)該更輕薄，能讓用戶舒適地長時間佩戴。

Pancake 透鏡和全息透鏡或許會對減小頭顯體積有所幫助，目前 Meta 的 Holocake 2 原型機(jī)正在往此方向探索，但其尚未發(fā)展到大規(guī)模生產(chǎn)的水平。

▲ " 太陽鏡 " 是 Holocake 1 原型機(jī)，透明的是 2016 年的 Oculus Rift

4、視力矯正顯示屏：還未找到成本低廉的視力矯正顯示屏

更好的 VR 頭顯應(yīng)該具備視覺矯正功能，讓用戶不必在 VR 頭顯下還帶著常規(guī)眼鏡。這個問題可以通過特殊的鏡頭附件解決，但這不是理想的解決方案。最佳方案是頭顯的顯示器自帶視覺矯正功能，這樣頭顯設(shè)計(jì)師就不再需要考慮適配眼鏡等問題。

但挑戰(zhàn)就在于，如何才能找到一種制造成本低廉，且不會額外增加頭顯重量的解決方式呢？

▲具有視力矯正功能的鏡頭附件已經(jīng)存在，但它們并不是理想的解決方案

5、變焦：Meta 原型機(jī) Half Dome 可實(shí)現(xiàn)人眼變焦

在自然環(huán)境中，為了看清不同距離的畫面，人眼可以自然變焦。但在 VR 頭顯中，因?yàn)槿搜叟c屏幕之間的距離沒有改變，所以人眼無法變焦，也無法看清遠(yuǎn)近景物之間的差別。這其中存在視覺輻輳調(diào)節(jié)沖突（vergence-accommodation-conflict）問題。所以有時用戶會感到眼睛疲勞，甚至出現(xiàn)頭痛和嘔吐現(xiàn)象。

為了解決這個問題，Meta 的研究人員開發(fā)了一系列支持 " 漸進(jìn)式視覺 "（progressive vision）的原型機(jī) Half Dome。Half Dome 可以模擬不同的焦點(diǎn)平面，呈現(xiàn)出不同的模糊程度，從而幫助人眼在虛擬世界里調(diào)整焦距。

▲瞳孔會隨著物體距離變化

6、眼動追蹤：難以適配所有人的眼部情況

眼動跟蹤是虛擬現(xiàn)實(shí)中的一項(xiàng)關(guān)鍵技術(shù)。它是眾多其他重要 VR 技術(shù)的基礎(chǔ)，如變焦、畸變校正等。通過這項(xiàng)技術(shù)，用戶可以在虛擬世界中實(shí)現(xiàn)與其他用戶的眼神交流，擁有更加真實(shí)的社交體驗(yàn)。

但問題在于，每個人都有不同的瞳孔形狀、每個人眼瞼和睫毛的生長情況也不同，所以目前眼動追蹤技術(shù)還無法很好地適配所有用戶。因此，Lanman 團(tuán)隊(duì)將廣泛收集更多的用戶數(shù)據(jù)，以此升級眼動追蹤技術(shù)技術(shù)，努力讓它與更多人適配。

▲瞳孔的形狀因人而異，這對眼動追蹤技術(shù)來說是一個挑戰(zhàn)

7、畸變校正：Meta 研發(fā)失真模擬器，加快算法迭代速度

瞳孔的運(yùn)動會引起圖像的失真，進(jìn)而降低用戶的沉浸感，這種現(xiàn)象在配合變焦技術(shù)使用時尤其明顯。為了開發(fā)校正算法，研究人員必須在實(shí)物頭顯上進(jìn)行調(diào)整測試，但生產(chǎn)頭顯可能會耗費(fèi)數(shù)周甚至數(shù)月，這大大拖延了算法的迭代時間。

為了解決這個問題，Meta 研究團(tuán)隊(duì)開發(fā)了一種失真模擬器（distortion simulator）。有了這種模擬器，無需生產(chǎn)測試頭顯和特殊鏡頭，研究人員就能測試校正算法。

▲紅色光線未校正，藍(lán)色光線是校正后的結(jié)果

8、高動態(tài)范圍（HDR）：Starburst 原型機(jī)峰值亮度為 20000nit

物理對象和環(huán)境的亮度遠(yuǎn)遠(yuǎn)高于 VR 頭顯，為了解決這個問題，Meta 創(chuàng)造了 Starburst 原型機(jī)。Starburst 的亮度峰值為 20000nit，是現(xiàn)存 Quest 2 的 200 倍。

Starburst 可以更真實(shí)地模擬封閉空間和夜晚的照明狀況，讓虛擬環(huán)境看起來更加真實(shí)。不過，目前 Starburst 很重，并且十分耗能。

Meta 認(rèn)為，HDR 對視覺真實(shí)感的貢獻(xiàn)要大于分辨率和變焦，但這項(xiàng)技術(shù)距離實(shí)際應(yīng)用最為遙遠(yuǎn)。

▲ Starburst 原型機(jī)特寫

9、視覺逼真度（Visual realism）：透視（Passthrough）技術(shù)尚不成熟

更好的 VR 頭顯應(yīng)該還能讓 VR 用戶與現(xiàn)實(shí)世界保持互動。VR 頭顯可以記錄真實(shí)環(huán)境信息并在虛擬現(xiàn)實(shí)中顯示為視頻圖像。這種稱為 " 透視 "（Passthrough）的技術(shù)已經(jīng)在商用 VR 頭顯中實(shí)現(xiàn)，但其質(zhì)量很差。例如，Quest 2 提供了一種黑白相間的透視模式，而 Meta 的即將推出的高端 VR 頭顯 "Quest Pro" 旨在追求更高的分辨率和彩色透視功能。

然而，VR 頭顯尚未實(shí)現(xiàn)物理環(huán)境的完美重建。透視技術(shù)捕捉到的畫面視角在空間上與眼睛存在偏差，用戶在長時間使用時可能會感到不適。所以，Meta 正在研究人工智能輔助的視線合成，該技術(shù)能實(shí)時生成視角正確的視點(diǎn)，并具有高視覺保真度。

此外，Meta 還在研究一種 " 反向透視 "（Reverse Passthrough）功能，該功能可以讓現(xiàn)實(shí)用戶看到 VR 用戶的眼鏡和臉部，進(jìn)而進(jìn)行眼神交流。但是目前這項(xiàng)技術(shù)在視覺上不協(xié)調(diào)、不自然，還遠(yuǎn)未為市場做好準(zhǔn)備。

▲左邊是一個 Oculus Rift，它擋住了 VR 用戶的視線，右側(cè)是早期的反向 " 透視 " 原型機(jī)

10、面部重建：Meta 開展 " 虛擬化身 " 項(xiàng)目研究

Meta 希望未來人們在虛擬環(huán)境中見面就像在現(xiàn)實(shí)中一樣真實(shí)。為此，Meta 正在展開了名為虛擬化身（Codec Avatars）的研究項(xiàng)目，該項(xiàng)目致力于為人們在虛擬環(huán)境中創(chuàng)建 3D 數(shù)字化身。

目前，VR 頭顯可以實(shí)時讀取 VR 用戶的面部表情，并將其轉(zhuǎn)移到虛擬現(xiàn)實(shí)中。據(jù)悉，即將推出的 Quest Pro 或?qū)⒊蔀?Meta 第一款提供面部跟蹤（face-tracking）的設(shè)備。

▲ Quest Pro 可以識別面部表情并將其傳輸?shù)?VR 設(shè)備上

結(jié)語：Meta 的 VR 技術(shù)已有突破，但仍需繼續(xù)攻克技術(shù)難題

Lanman 在 SIGGRAPH 2022 上提出了目前 VR 頭顯面臨的十大挑戰(zhàn)，我們可以從中看到目前 Meta 取得的進(jìn)展和尚未解決的問題。Meta 發(fā)布了四款原型機(jī)，目的是解決 VR 頭顯在分辨率、變焦、輕薄外形、HDR 四個方面的問題。這四款原型機(jī)各有所長，在各自領(lǐng)域獲得了初步的技術(shù)進(jìn)展。此外，Meta 開展了虛擬化身項(xiàng)目助力 VR 頭顯的面部重建功能、開發(fā)了失真模擬器加速算法迭代。

這些原型機(jī)展現(xiàn)了現(xiàn)在 Meta 在 VR 單項(xiàng)技術(shù)領(lǐng)域能達(dá)到的最高水準(zhǔn)，但這些技術(shù)遠(yuǎn)遠(yuǎn)不足以打造出一個成熟的 VR 頭顯。目前仍存在一些 Meta 暫時無法攻克的技術(shù)問題。例如 VR 頭顯的視場角比人眼更窄、VR 頭顯佩戴的舒適度不夠、VR 頭顯還未配備視力矯正功能、VR 頭顯的眼動追蹤技術(shù)不能適配所有人、VR 頭顯的 " 透視 " 技術(shù)尚不成熟等等。

細(xì)數(shù)目前 Meta 在 VR 頭顯上的探索，我們可以發(fā)現(xiàn)，Meta 已經(jīng)在 VR 頭顯探索的路上走了很長的一段距離。但是，Meta 離這條路的終點(diǎn)還很遠(yuǎn)。目前，VR 頭顯相關(guān)的各項(xiàng)技術(shù)都在積極開發(fā)中，但這些技術(shù)還遠(yuǎn)未成熟，離上市商用還有一段距離。從這個角度來看，VR 的爆發(fā)潮還很遠(yuǎn)。