有了這個發明，以后演員拍戲再也不用摳圖了？

答：可以直接一鍵合成。（手動狗頭）

讓我們趕緊來看看，這個由蘋果最新研發的NeuMan框架：

只需輸入一段 10s 左右的人物視頻，就能合成該人物在新場景下做著各種新動作的影像。

前空翻？so easy！

跳舞那也是不在話下。

這妖嬈的舞姿，看來 NeuMan 心里也有一個舞魂～

有網友看完就表示：喔～簡直是電影界未來的發展方向。

目前，有關 NeuMan 的研究論文已被 ECCV ’ 22 收錄，并且已在 GitHub 上開源。

全新場景渲染

在介紹 NeuMan 的原理之前，讓我們再來欣賞幾個酷炫的例子～

如下圖所示，左上角是輸入的訓練視頻，左下角是新的背景，右邊則是合成后小哥在新背景下跳躍的效果。

不僅是跳躍這種常規操作，廣播體操也完全沒問題。

更厲害的是，NeuMan 還可以將上面例子中的兩個人合成到一起。

再加上一個人，立馬變成魔性的廣場舞視頻。

這微笑的小表情，真的很難解釋不是本人親自跳的（手動狗頭）。

那么話說回來，這個神奇的 NeuMan 背后的原理是什么呢？

基于 NeRF 的新突破

事實上，自從伯克利和谷歌聯合打造的 NeRF（Neural Radiance Fields 神經輻射場）橫空出世，各種重建三維場景的研究層出不窮。

NeuMan 原理也是基于此，簡單來說，就是用單個視頻訓練一個人物 NeRF 模型和一個場景 NeRF 模型，然后再合成在一起生成新的場景。

首先，在訓練場景 NeRF 模型時，我們先從輸入的視頻中提取相機姿態、稀疏場景模型和多視角 - 立體深度圖。

對于原視頻中被人體遮擋的部分，則使用 Mask R-CNN 進行圖像實體分割，將人體掩模膨脹 4 倍，以確保人體被完全遮蔽。此時，就能做到僅在背景上訓練場景 NeRF 模型。

至于人體 NeRF 模型訓練，研究人員引入了一種端到端的 SMPL 優化（end-to-end SMPL optimization）和糾錯神經網絡（error-correction network）。

SMPL（Skinned Multi-Person Linear Model）是一種基于頂點的人體三維模型，能夠精確地表示人體的不同形狀和姿態。

如下圖所示，使用端到端的 SMPL 優化的人體模型，能夠更好地表現人體的典型體積。

糾錯神經網絡則是用來彌補 SMPL 模型無法表達的細節。值得一提的是，它只在訓練過程中使用，在進行全新場景渲染時會被放棄，以免造成過度擬合。

接下來，在兩個模型對齊的階段，研究人員先使用 COLMAP 解決任意尺度下的對齊問題。然后通過假設人類始終與地面有至少一個接觸點，來進一步估計該場景的比例。

最后，再應用 SMPL 網格和場景的點云疊加，就形成了新圖像的渲染效果。

最終成品顯示，該場景 NeRF 模型方面模型能夠有效地去除場景中的人類，并在有限的場景覆蓋下生成高質量的新背景渲染圖像。

人物 NeRF 模型方面也能很好的捕捉人體的細節，包括袖子、衣領甚至衣服拉鏈，甚至在渲染新動作時，能執行難度極大的側翻動作。

值得一提的是，不同于現行的其他 NeRF 模型對訓練視頻要求很高，比如需要多個機位拍攝、曝光要保持不變、背景要干凈等等，NeuMan 的最大亮點是僅通過用戶隨意上傳的單個視頻就能達到同款效果。

并且，在分別輸入六組不同的視頻后，數據顯示，與此前方法相比，NeuMan 的方法生成的視頻渲染質量最佳。

不過，研究團隊也承認，NeuMan 的設計目前還存在一些缺陷。

例如，由于人在活動時手勢的變化細微又多變，因此生成視頻中對手部細節的把握還不是很準確。

另外，在 NeRF 模型渲染時，由于系統假設人類始終與地面有至少一個接觸點，因此 NeuMan 不能適用于人與地面接觸為零的視頻，比如人做后空翻的視頻。

要想解決這個問題，需要更智能的幾何推理知識，這也是未來研究的一個發展方向。

研究團隊

這項研究由蘋果機器學習研究中心和英屬哥倫比亞大學合作完成。

第一作者 Wei Jiang，是英屬哥倫比亞大學計算機科學專業的一名四年級博士生，目前在蘋果機器學習研究中心實習。

主要研究方向是新視角合成、視覺定位和三維視覺。

他還是英屬哥倫比亞大學計算機視覺實驗室的一員，導師是 Kwang Moo Yi 教授。

碩士畢業于波士頓大學計算機科學專業，本科畢業于浙江工業大學軟件工程專業。