僅靠 19 億參數(shù)，只用公共數(shù)據(jù)集，在 12 個(gè)任務(wù)上狂刷 SOTA。

微軟這篇多模態(tài)論文剛掛上 arXiv 不久，就在業(yè)內(nèi)引發(fā)強(qiáng)烈關(guān)注。

有網(wǎng)友將之總結(jié)成" 在所有事情上打敗了所有人 "。

怎么回事？先來(lái)看這張雷達(dá)圖：

橙色內(nèi)圈，是各大任務(wù)之前的 SOTA。

紫色外圈，就是這篇 BEiT-3 的結(jié)果，不僅超越，而且是全面超越。

具體一圈看下來(lái)，BEiT-3 這個(gè)多模態(tài)模型不光刷遍多模態(tài)任務(wù)，連右上角的純視覺(jué)三大經(jīng)典任務(wù)也都刷到 SOTA，簡(jiǎn)直是六邊形戰(zhàn)士。

知乎上一位同樣做多模態(tài)研究的選手直呼" 殺死了比賽 "。

其實(shí)說(shuō)起來(lái)，微軟 BEiT 這個(gè)系列最開(kāi)始做的是視覺(jué)自監(jiān)督學(xué)習(xí)。

其核心思想與何愷明的 MAE一致，甚至比 MAE 提出的還早一段時(shí)間，不過(guò)當(dāng)時(shí)性能惜敗于 MAE。

如今在多模態(tài)方向上繞了一圈后，沒(méi)想到能以方式橫掃視覺(jué)與多模態(tài)榜單。

取得這種成果的，一般來(lái)說(shuō)還不得是上百億上千億參數(shù)的大大大模型？

但 BEiT-3 總參數(shù)不過(guò)19 億，甚至訓(xùn)練數(shù)據(jù)上也沒(méi)什么秘密武器，全都用的公開(kāi)資源。

那么，這一切是如何做到的？

把圖像當(dāng)成一種外語(yǔ)

最關(guān)鍵的一點(diǎn)，論文標(biāo)題和摘要就已經(jīng)指明：

把圖像當(dāng)成一種外語(yǔ)。

這樣一來(lái)，文本數(shù)據(jù)是English，圖像數(shù)據(jù)作者開(kāi)了個(gè)小玩笑命名為Imglish，那么圖文對(duì)數(shù)據(jù)就相當(dāng)于平行語(yǔ)料。

那么多模態(tài)也好純視覺(jué)也罷，都能用同一個(gè)預(yù)訓(xùn)練任務(wù)來(lái)處理。

在這個(gè)基礎(chǔ)上，論文中把所做突破總結(jié)成一個(gè)詞，大一統(tǒng)（Big Convergence）。

首先，大一統(tǒng)表現(xiàn)在網(wǎng)絡(luò)架構(gòu)上。

通過(guò)統(tǒng)一多模態(tài)表示方式，對(duì)于不同任務(wù)可以共享一部分參數(shù)，采用 Multiway（多路）Transformer 架構(gòu)作為骨干網(wǎng)絡(luò)。

具體來(lái)說(shuō)就是共享多頭自注意力層，輸出時(shí)再根據(jù)具體任務(wù)選擇專(zhuān)用的 FFN 層。

第二，大一統(tǒng)又表現(xiàn)在預(yù)訓(xùn)練方法上。

既然所有數(shù)據(jù)都能當(dāng)成文本數(shù)據(jù)，那就可以全都按照 BERT 的方法，用掩碼 - 預(yù)測(cè)來(lái)做預(yù)訓(xùn)練，稱(chēng)為 Masked Data Modeling。

與基于對(duì)比學(xué)習(xí)的訓(xùn)練方法相比，新方法可以選用更小的 Batch Size，又能額外降低顯存消耗。

第三，大一統(tǒng)還表現(xiàn)在規(guī)模效應(yīng)上。

統(tǒng)一的預(yù)訓(xùn)練任務(wù)讓模型參數(shù)擴(kuò)大到 10 億數(shù)量級(jí)后，對(duì)下游任務(wù)的泛化能力增強(qiáng)。

另外不同模態(tài)的數(shù)據(jù)集在此方法下也產(chǎn)生規(guī)模效應(yīng)。

團(tuán)隊(duì)特意只用公開(kāi)數(shù)據(jù)的條件下增加訓(xùn)練數(shù)據(jù)集規(guī)模，結(jié)果超越了一些使用高質(zhì)量私有數(shù)據(jù)的模型。

BEiT-v 的訓(xùn)練數(shù)據(jù)來(lái)自 5 個(gè)公開(kāi)數(shù)據(jù)集中的約500 萬(wàn)張圖像和 2100 萬(wàn)圖像 - 文本對(duì)；單模態(tài)數(shù)據(jù)則使用來(lái)自 ImageNet-21K 的1400 萬(wàn)張圖像和 160GB 的文本語(yǔ)料庫(kù)。

除此之外，在規(guī)模上也遠(yuǎn)小于其它的多模態(tài)預(yù)訓(xùn)練模型，例如 ALIGN（18 億圖文對(duì)）、CLIP（4 億圖文對(duì)）、SimVLM（18 億圖文對(duì)，800GB 文本）等。

所有這些優(yōu)勢(shì)疊加在一起，BEiT-3 就以更少的訓(xùn)練數(shù)據(jù)、更小的模型參數(shù)取得更好的性能。

在純視覺(jué)任務(wù)（圖像分類(lèi)、目標(biāo)檢測(cè)、語(yǔ)義分割）以及多模態(tài)任務(wù)（視覺(jué)推理、視覺(jué)問(wèn)答、圖像描述、微調(diào)的跨模態(tài)檢索、零樣本跨模態(tài)檢索）總共 8 類(lèi)任務(wù)下超越各自之前的 SOTA。

BEiT-3 這篇論文很簡(jiǎn)短，不算參考文獻(xiàn)只有 9 頁(yè)。

但熟悉微軟 BEiT 系列歷史的話就會(huì)知道，這項(xiàng)研究取得成功的意義不僅在于其自身，也不僅是多模態(tài)學(xué)習(xí)的一項(xiàng)突破——

還給視覺(jué)大規(guī)模預(yù)訓(xùn)練這個(gè)興起不久的領(lǐng)域，帶來(lái)新的可能性。

BEiT 與 MAE，視覺(jué)自監(jiān)督的路線之爭(zhēng)

關(guān)于微軟的 BEiT 系列，全稱(chēng)為Bidirectional Encoder representation from Image Transformers，比大家熟悉的語(yǔ)言模型BERT多了個(gè) "Image"。

其主要思想就是借鑒 BERT，把掩碼建模方法用到視覺(jué)任務(wù)上，做視覺(jué)的自監(jiān)督學(xué)習(xí)，解決高質(zhì)量標(biāo)注數(shù)據(jù)難以獲得的難題。

初代 BEiT 論文于去年 6 月發(fā)表，比同類(lèi)工作何愷明的 MAE 還要早一些，也是 MAE 論文中的主要比較對(duì)象之一。

初代 BEiT，惜敗 MAE

兩項(xiàng)研究都是用 " 先掩碼再預(yù)測(cè) " 來(lái)做預(yù)訓(xùn)練任務(wù)，最大的區(qū)別在于 BEiT 會(huì)把視覺(jué) token 離散化、最后模型預(yù)測(cè)的是token，而 MAE 則是直接預(yù)測(cè)原始像素。

△初代 BEiT 的架構(gòu)

在三大視覺(jué)任務(wù)上，MAE 比當(dāng)時(shí)的 BEiT 略勝一籌。并且因方法更簡(jiǎn)單直接，MAE 運(yùn)行起來(lái)也要快上不少（3.5 倍）。

為了證明在 MAE 中 token 化這一步并無(wú)必要，何愷明團(tuán)隊(duì)在論文中還特意做了消融試驗(yàn)。

結(jié)果表明，兩種方法統(tǒng)計(jì)上并無(wú)顯著差異，對(duì)于 MAE 來(lái)說(shuō)預(yù)測(cè)原始像素就足夠了。

不過(guò) BEiT 團(tuán)隊(duì)并沒(méi)有放棄離散化 token 這個(gè)方法，而是沿著這個(gè)思路繼續(xù)探索下去。

VL-BEiT，初探多模態(tài)

一年之后，團(tuán)隊(duì)發(fā)表了多模態(tài)模型 VL-BEiT，可以算作是現(xiàn)在這篇 BEiT-3 的雛形。

VL-BEiT 已經(jīng)用上了共享 Attenion 層、再對(duì)不同任務(wù)連接不同 FFN 層的架構(gòu)。

這一思想其實(shí)來(lái)自同一團(tuán)隊(duì)更早之前一篇論文VLMo，對(duì)每個(gè)模態(tài)設(shè)置一個(gè)專(zhuān)家層的方法稱(chēng)為 MoME（Mixture-of-Modality-Experts）。

不過(guò)，VL-BEiT 在預(yù)訓(xùn)練任務(wù)上還比較復(fù)雜，會(huì)對(duì)文本數(shù)據(jù)和圖像數(shù)據(jù)分別做掩碼建模，至于多模態(tài)圖文對(duì)數(shù)據(jù)也是分開(kāi)處理的。

最后結(jié)果，VL-BEiT 在多模態(tài)任務(wù)和純視覺(jué)任務(wù)上表現(xiàn)都不錯(cuò)，但還不像現(xiàn)在的 BEiT-3 這樣大殺四方。

不過(guò)別急，突破口很快就被找到。

BEiT v2，把 token 提升到語(yǔ)義級(jí)

BEiT-3 發(fā)表僅一周之前，微軟與國(guó)科大團(tuán)隊(duì)合作發(fā)表了一篇 BEiT v2。

兩者命名方式有細(xì)微差別，因?yàn)?BEiT v2 確實(shí)代表是 BEiT 的升級(jí)版。

而 BEiT-3 的 3 論文中雖未明說(shuō)，但說(shuō)的大概不是 " 第三代 "，而是另有所指（稍后揭秘）。

說(shuō)回到 BEiT v2，這篇論文重新專(zhuān)注于純視覺(jué)，在初代 BEiT 基礎(chǔ)上提出了新的語(yǔ)義級(jí) tokenizer。

具體來(lái)說(shuō)，BEiT v2 引入了矢量量化（Vector-Quantized）和知識(shí)蒸餾（Knowledge Distillation）來(lái)訓(xùn)練 tokenizer。

同樣是做離散化 token，新方法能重建知識(shí)蒸餾中教師模型的語(yǔ)義特征，大大提高 token 中攜帶的語(yǔ)義信息，從而提高模型性能。

接下來(lái)，教師模型用誰(shuí)就很關(guān)鍵了。

在對(duì)比了 FAIR 的DINO模型和 OpenAI 的CLIP模型之后，團(tuán)隊(duì)發(fā)現(xiàn)還是 CLIP 更香。

最終結(jié)果上，BEiTv2 性能反超 MAE 和這段時(shí)間出現(xiàn)的其他方法，重回 SOTA。

BEiT-3，集大成者

了解了整個(gè) BEiT 系列的發(fā)展歷程，最后再來(lái)看一下 BEiT-3。

論文共同一作董力，點(diǎn)出了模型命名中"3"的含義：

多模態(tài)統(tǒng)一的預(yù)訓(xùn)練方式 + 共享 Attention 的多路 Transformer+ 擴(kuò)大規(guī)模的大一統(tǒng)（Big Convergence）。

如此一來(lái)，BEiT-3 能在多模態(tài)任務(wù)和視覺(jué)任務(wù)中都取得 SOTA 也就不奇怪了。

這樣一篇論文，自然吸引了行業(yè)內(nèi)很多目光。

魯汶大學(xué)一位教授認(rèn)為，這代表微軟在 AI 科研方面趕上谷歌 /DeepMind、Meta 和 OpenAI，" 重新坐上了牌桌 "。

隨著討論熱度升級(jí)，對(duì)論文更嚴(yán)格的審視目光也多了起來(lái)。

谷歌一位研究員指出，論文結(jié)果看起來(lái)簡(jiǎn)潔又令人印象深刻，就是這雷達(dá)圖的坐標(biāo)取值有點(diǎn)不太嚴(yán)謹(jǐn)。

知乎上也有網(wǎng)友提問(wèn)，如果用了 CLIP 作為教師模型的話，那么來(lái)自 CLIP 高質(zhì)量配對(duì)數(shù)據(jù)的貢獻(xiàn)有多少，直接改改 CLIP 就用又會(huì)如何？

作者團(tuán)隊(duì)

最后再來(lái)介紹一下作者團(tuán)隊(duì)，BEiT-3 相關(guān)研究論文的作者都來(lái)自微軟。

三位共同一作分別是 Wenhui Wang，Hangbo Bao（鮑航波）和 Li Dong（董力）。

其中，鮑航波和董力都是從初代 BEiT 就參與了研究，一直貫穿 VL-BEiT 和 BEiT v2 的發(fā)展，鮑航波更是 BEiT 和 VL-BEiT 論文的一作。另一位 Wenhui Wang 之前也曾參與過(guò) VL-BEiT 的研究。

通訊作者是微軟亞洲研究院 NLP 小組的 Partner 研究經(jīng)理 Furu Wei（韋福如）。