還記得你玩 VR 的時候，完全看不到自己下半身的樣子嗎？

畢竟，目前的 VR 設備通常只有手柄和頭顯，沒有下半身傳感器，系統無法直接判斷下半身的動作，預測時也容易出 bug。

現在，Meta 終于邁出了一大步——只憑頭顯（甚至不用手柄），就能搞定全身動捕，連雙腿的不同動作都預測得一清二楚！

新研究一 po 出就在網上爆火。

有網友調侃，小扎的元宇宙終于要有腿了，順手還 po 了個 Meta 的股票。

還有 VR 玩家感到高興：玩游戲時終于可以在身上少掛點硬件了！

這項研究究竟是如何只用頭顯做到全身動捕的？

給強化學習 AI 搞個物理約束

研究人員設計了一個框架，以頭顯（HMD）和手柄控制器的位置和方向數據作為輸入，其他數據全靠 AI 預測。

為此，他們先基于強化學習訓練了一個策略（policy，基于三層 MLP），根據僅有的 HMD 和手柄數據，盡可能逼真地還原真實動作捕捉的姿勢（動捕數據一共 10 小時）。

他們搞了 4000 個身高不同的仿真人形機器人，每個機器人具有 33 個自由度。

隨后，將這些機器人在英偉達的 Isaac Gym（一個專門用于強化學習研究的機器人物理模擬環境）中同時進行訓練，比單個環境下訓練一個機器人要更快。

在物理環境中一共訓練了 2 天（約 140 億步）后，這只框架就能基于這個強化學習策略，根據頭顯和手柄數據直接預測用戶全身動作了——

包括慢跑、行走、后退或過渡動作（transition）等。

不僅如此，Isaac Gym 還允許添加其他不同的模擬對象，因此還能通過訓練環境復雜度以增強動作真實性。

例如，根據虛擬環境中新增的皮球，模擬出 " 踢 " 的交互動作：

所以，相比其他模型，為什么這個框架預測的效果更好？

（此前雖然也有手柄和頭顯預測全身姿態的 AI，但預測全身動作時往往會出現身體不自然抖動、走路時腳像是在 " 滑冰 "、接觸力不穩定等 bug）

Meta 研究人員分析后認為，此前模型難以準確預測下半身姿態的原因，是預測時上下半身的關聯度較小。

因此，如果在預測時增加一定的物理約束（人體力學），例如慣性平衡和地面接觸力等，就能讓預測精度更上一層樓。

△腳上的紅色直條大小表示接觸力大小

研究人員還進一步發現，即使不用手柄控制器，只需要頭顯的 60 個姿勢（包含位置和方向數據），就足以重建各種運動姿態，還原出來的效果同樣沒有物理偽影。

除此之外，由于這個策略是基于 4000 個身高不同的仿真人形機器人訓練，因此它也能自動根據用戶的不同身高來調整策略（具有基于動捕的重定向功能）。

不過，也有網友好奇他為什么要采用強化學習來預測運動姿態，畢竟當前監督學習是主流方法。

對此作者回應稱，強化學習更方便加入物理約束（即降低抖動、腳滑等 bug 的關鍵原因），但對于監督學習來說，這通常是個難點。

但研究人員也表示，目前這個框架還有一定限制，如果用戶做的動作不包含在訓練數據中（例如快速沖刺）、或是進行了某些過于復雜的交互，那么虛擬環境中的仿真機器人就可能當場跌倒、或出現模擬失敗的情況。

作者介紹

三位作者都來自 Meta。

一作 Alexander W. Winkler，目前是 Meta Reality Lab 的研究科學家，研究方向是非線性數值優化、高自由度運動規劃、基于三維物理的仿真和可視化等。

他本碩畢業于德國卡爾斯魯厄理工學院（KIT），博士畢業于瑞士蘇黎世聯邦理工學院（ETH）。

Jungdam Won，目前是 Meta AI Lab 的研究科學家，本科和博士畢業于韓國首爾大學計算機科學與工程系，研究方向包括強化學習中智能體的控制和交互，以及通過機器學習方法優化動作捕捉等。

Yuting Ye，目前是 Meta Reality Lab 的研究科學家，參與過 Quest 和 Quest 2 的手柄跟蹤功能研發，本科畢業于北京大學，并在弗吉尼亞大學獲得碩士學位，博士畢業于佐治亞理工學院，研究方向是動作捕捉和元宇宙等。