機器之心報道

機器之心編輯部

解碼狗狗的視覺認知：眼里看到誰并不在乎，它們更關(guān)心看到的動作。

過去 15000 年，狗與人類共同進化。現(xiàn)在，狗狗常作為寵物棲息在人類生活環(huán)境中。有時狗狗像人一樣在家中觀看視頻，仿佛是看懂了。

那么，狗狗眼里的世界是什么樣子的？

近日，來自埃默里大學(xué)的一項研究從狗的大腦中解碼了視覺圖像，首次揭示了狗的大腦如何重建它所看到的東西。這項研究發(fā)表在《可視化實驗期刊》上。

論文地址：https://www.jove.com/t/64442/through-dog-s-eyes-fmri-decoding-naturalistic-videos-from-dog

研究人員記錄了兩只清醒的、不受約束的狗狗的 fMRI 神經(jīng)數(shù)據(jù)，期間讓它們分三次觀看 30 分鐘的視頻，時長總共 90 分鐘。然后他們使用機器學(xué)習(xí)算法來分析神經(jīng)數(shù)據(jù)中的模式。

埃默里大學(xué)心理學(xué)教授、論文作者之一 Gregory Berns 表示：「我們可以在狗觀看視頻時監(jiān)控它的大腦活動，并在一定程度上重建它正在看的東西。我們能夠做到這一點是非常了不起的。」

Berns 及其同事開創(chuàng)性地將 fMRI 掃描技術(shù)用于犬類，并訓(xùn)練狗狗在測量神經(jīng)活動時完全靜止且不受約束。十年前，該團隊發(fā)布了第一張完全清醒、不受約束的狗的 fMRI 大腦圖像，為 Berns 所說的「The Dog Project」實驗計劃打開了大門。

Berns 和第一只在完全清醒且不受約束的情況下被掃描大腦活動的狗狗 Callie。

多年來，Berns 的實驗室發(fā)表了多項關(guān)于犬類大腦如何處理視覺、語言、氣味和獎勵（例如接受表揚或食物）的研究。

與此同時，機器學(xué)習(xí)技術(shù)不斷進步，使得科學(xué)家能夠解碼一些人類大腦的活動模式。然后 Berns 開始思考類似的技術(shù)能否應(yīng)用到狗狗的大腦上。

此次新研究就是基于機器學(xué)習(xí)和 fMRI 技術(shù)完成的。fMRI 是一種神經(jīng)影像學(xué)技術(shù)，其原理是利用磁振造影來測量神經(jīng)元活動引發(fā)的血液動力的改變。這種技術(shù)是非侵入性的，在腦部功能定位領(lǐng)域具有重要作用。除了人類，該技術(shù)只應(yīng)用于少數(shù)其他物種，包括一些靈長類動物。

研究介紹

實驗中用到兩只狗，它證明機器學(xué)習(xí)、fMRI 等技術(shù)可普遍用于犬科動物分析，研究人員也希望這項研究對其他人有所幫助，以便更深入地了解不同動物的思維方式。

實驗過程大致如下：

實驗參與者：Bhubo，4 歲；Daisy，11 歲。兩只狗之前都參加過幾項 fMRI 訓(xùn)練（Bhubo：8 項，Daisy：11 項），其中一些涉及觀看投射到屏幕上的視覺刺激。這兩只狗之所以被選中，是因為它們能夠長時間呆在掃描儀內(nèi)，而不會在主人看不見的情況下隨便移動。

視頻拍攝：以狗的視角拍攝視頻，以捕捉狗生活中的日常場景。這些場景包括散步、喂食、玩耍、與人類互動、狗與狗的互動等。將視頻編輯成 256 個獨特的場景，每個場景都描繪了一個事件，例如狗與人類擁抱、狗奔跑或散步。根據(jù)其內(nèi)容為每個場景分配一個唯一的編號和標簽。然后將這些場景編輯成五個更大的匯編視頻，每個視頻大約 6 分鐘。

實驗設(shè)計：首先使用 3T MRI 掃描參與者，同時讓參與者觀看投射到 MRI 孔后部屏幕上的匯編視頻。對于狗來說，通過事先訓(xùn)練，將它們的頭放在定制的下巴托中，以達到頭部穩(wěn)定的位置，就像下圖這樣

‍

實驗分三次觀看，每次觀看 30 分鐘的視頻，時長總共 90 分鐘。

‍

實驗過程中，同時使用 fMRI 對狗進行掃描，然后對數(shù)據(jù)進行分析，實驗用到了 Ivis 機器學(xué)習(xí)算法，這是一種基于孿生神經(jīng)網(wǎng)絡(luò) ( SNN ) 的非線性方法，已在分析高維生物數(shù)據(jù)上取得成功。此外，實驗中還用到了 scikit-learn、RFC 等機器學(xué)習(xí)算法。

正在被掃描的 Daisy，耳朵被貼上膠帶，用來固定耳塞，以消除噪音。

該研究比較了人類和狗的大腦工作方式。兩個人類受試者的結(jié)果表明，使用神經(jīng)網(wǎng)絡(luò)開發(fā)的模型將大腦數(shù)據(jù)映射到基于對象和基于動作的分類器上的準確率達到了 99%；在解碼狗的大腦模式時，同樣的模型就不適用于對象分類器，而解碼狗的動作分類時，準確率達到了 75% - 88%。這說明人類和狗的大腦工作方式存在重大差異，如下圖人 ( A ) 和狗 ( B ) 的實驗結(jié)果所示。對此，Berns 總結(jié)道：「我們?nèi)祟惙浅ｊP(guān)心看到的對象，而狗狗似乎不太關(guān)心他們看到的是誰或者看到了什么，而更關(guān)心動作行為。」