給娃拍照

卻被封號(hào)？

上著班聊著天， Mark 突然就被警察找上門了。

因?yàn)樗氖謾C(jī)被發(fā)現(xiàn)有一張手機(jī)里含有兒童性器官的照片，于是 Mark 被懷疑是一個(gè)針對(duì)兒童下手的性犯罪者。而且警方發(fā)現(xiàn)，這張照片居然來(lái)自 Mark 的兒子 ……

一個(gè)變態(tài)的戀童癖形象大概已經(jīng)開始在你腦海里構(gòu)建起來(lái)。

先別急著憤怒，事情很快出現(xiàn)了反轉(zhuǎn)。原來(lái)這張照片是 Mark 兒子生病后，為了讓醫(yī)生了解病情而拍攝的，而且 Mark 也從未公開發(fā)布過(guò)這張照片。

那么警方是如何得知的呢，是 Google 的 AI 系統(tǒng)檢測(cè)到了 Mark Android 手機(jī)里的照片，并判定他為犯罪嫌疑人，轉(zhuǎn)而向警方舉報(bào)，并禁用了他的 Google 賬號(hào)。

在美國(guó)，Google 全家桶的普及程度大概相當(dāng)于微信，也就是說(shuō) Google 這一番操作，直接讓 Mark 從線上到線下全方位社死。

更為可怕的是，和 Mark 一樣被平臺(tái)檢測(cè)到異常順便舉報(bào)的人，遠(yuǎn)不止一個(gè)。

孩子線上問(wèn)診的照片，讓他被認(rèn)定為罪犯

Mark 的孩子在學(xué)習(xí)走路時(shí)患上了腹股溝炎癥。由于疫情嚴(yán)重，當(dāng)時(shí)大部分人都在居家隔離，Mark 只能選擇線上問(wèn)診，提供孩子腹股溝的照片，試圖幫醫(yī)生更好地做出診斷，醫(yī)生也根據(jù)描述的病情、展現(xiàn)的照片開出了處方。

但就是這些照片出了問(wèn)題，Android 手機(jī)里的照片自動(dòng)同步到了云端，Google 系統(tǒng)將這些照片識(shí)別為了兒童性虐待內(nèi)容 CSAM（Child Sexual Abuse Material）。

在被識(shí)別后，Mark 的網(wǎng)絡(luò)使用癱瘓了一半，因?yàn)樗环饬恕mail，用戶用來(lái)登錄其它平臺(tái)的賬戶郵箱；Google Fi，用戶的移動(dòng)虛擬運(yùn)營(yíng)商，打電話上網(wǎng)都用得上；Google Photos，再也無(wú)法訪問(wèn)，里面有你家人的照片回憶 …… 這些通通被封了。因?yàn)?Google 覺(jué)得你涉嫌兒童性犯罪，所以封了你的賬戶順便「替你」報(bào)了警——平臺(tái)封號(hào)后向國(guó)家失蹤與被剝削兒童中心（NCMEC）提交了一份報(bào)告，這份報(bào)告引發(fā)了警方的調(diào)查。

10 個(gè)月后，這位父親收到了舊金山警局的通知，他們根據(jù) Google 提供的照片報(bào)告對(duì)他進(jìn)行了全方位的調(diào)查。

為了更好調(diào)查潛在的兒童性犯罪嫌疑人，警方還向 Google 發(fā)出了搜查令，要求提供 Mark 所有賬戶信息，視頻、照片、位置數(shù)據(jù)、互聯(lián)網(wǎng)搜索報(bào)告等內(nèi)容。對(duì) Mark 來(lái)說(shuō)，這真的是無(wú)妄之災(zāi)，要是警察調(diào)查大張旗鼓一些，恐怕連工作都沒(méi)法做了。

好在仔細(xì)調(diào)查后，警方確認(rèn)了這位父親并不存在任何針對(duì)兒童的性犯罪行為。

這位父親很清白，但 Google 很死板。即便是提供了經(jīng)過(guò)警方證實(shí)的無(wú)罪報(bào)告，也無(wú)法讓他成功向 Google 申訴找回賬戶。他曾經(jīng)留在自己賬戶中的照片信息都已被完全鎖定，無(wú)法再看到。能看到的只有 Google 的提醒——

你的賬戶因含有嚴(yán)重違反 Google 政策且可能非法的有害內(nèi)容而被禁用。

申請(qǐng)解封是沒(méi)有用的，你只能換郵箱、換電話，在數(shù)字世界從頭開始。外媒報(bào)道了這樣兩個(gè)普通用戶，他們都為孩子網(wǎng)上問(wèn)診拍攝了兒童性器官相關(guān)的照片，從而被判定違規(guī)封號(hào)，直到今天都無(wú)法找回自己的賬號(hào)。

他們甚至不是特例。2021 年，Google 向 NCMEC 的 CyberTipLine（舉報(bào)兒童性侵項(xiàng)目）報(bào)告了 621583 起案件。NCMEC 則向當(dāng)?shù)貓?zhí)法部門公告了 4260 名潛在受害者，請(qǐng)求警方協(xié)助調(diào)查，在這些孩子受到進(jìn)一步傷害時(shí)解救他們。

聽上去是一個(gè)技術(shù)及時(shí)制止犯罪、預(yù)防犯罪的好故事，但當(dāng)這個(gè)名單里包含和 Mark 孩子一樣只是問(wèn)診的未成年時(shí)，就是「抓住一千，也錯(cuò)抓一個(gè)」的悲傷故事了。

在所有技術(shù)偵查領(lǐng)域中，唯有兒童性犯罪例外

只是雖然有錯(cuò)抓，Google 明顯也不打算改。不僅不解封經(jīng)過(guò)警方認(rèn)證的清白用戶賬戶，也不打算停止這個(gè)會(huì)有缺陷的審查機(jī)制。

Google 發(fā)言人 Christa Muldoon 就表示：「我們遵循美國(guó)法律定義什么是 CSAM，并使用哈希匹配技術(shù)和人工智能的組合來(lái)識(shí)別它，再?gòu)奈覀兊钠脚_(tái)上刪除它。我們的兒童安全專家團(tuán)隊(duì)會(huì)審查標(biāo)記內(nèi)容準(zhǔn)確性，還會(huì)咨詢兒科醫(yī)生確保我們能夠識(shí)別用戶可能尋求醫(yī)療建議的情況。」

問(wèn)題在于，Google 的審核團(tuán)隊(duì)并沒(méi)有醫(yī)學(xué)專業(yè)背景，在審查每個(gè)案例時(shí)也不一定都會(huì)咨詢專業(yè)的兒科醫(yī)生。所以錯(cuò)判在這個(gè)過(guò)程中可以說(shuō)是難以避免的，唯一能夠降低這種錯(cuò)判影響力的只有專業(yè)機(jī)構(gòu)的判定和執(zhí)法機(jī)構(gòu)的二次審查。

但對(duì)于被誤判的人來(lái)說(shuō)，這真的是無(wú)妄之災(zāi)。因?yàn)檫@種誤判，你的重要賬號(hào)被鎖了；因?yàn)檫@個(gè)判斷，你被警察調(diào)查了；因?yàn)檫@些錯(cuò)判，身邊人看你可能也會(huì)戴上有色眼鏡。

電子前沿基金會(huì) EFF 的技術(shù)項(xiàng)目主任 Jon Callas 對(duì)媒體表示 Google 的做法是有侵入性的。「這正是我們都擔(dān)心的噩夢(mèng)——他們要掃描我們的家庭相冊(cè)，然后我們就會(huì)遇到麻煩。」

但這不是 Google 才會(huì)遇到的問(wèn)題，因?yàn)閹缀跛锌萍季揞^在關(guān)乎 CSAM 內(nèi)容時(shí)都有異常積極的行動(dòng)。Amazon 和 Facebook 和 Google 一樣有人工智能 + 人工的審核機(jī)制，發(fā)現(xiàn)有嫌疑的用戶業(yè)余酌情刪除或禁用 URL、圖像、聊天功能，嚴(yán)重的封禁帳戶。2021 年，亞馬遜也向 NCMEC 提交了 33848 份 CSAM 報(bào)告。至于隱私問(wèn)題，在這個(gè)技術(shù)打擊犯罪的故事里似乎被忽略了。

在捍衛(wèi)用戶隱私的故事中，蘋果拒絕「協(xié)助解鎖」的故事最讓人印象深刻。

當(dāng)時(shí)美國(guó)福利機(jī)構(gòu)內(nèi)發(fā)生了一起嚴(yán)重的恐怖襲擊槍擊案，兇手在逃亡途中被擊斃。警方在調(diào)查中發(fā)現(xiàn)兇手與中東「伊斯蘭國(guó)」極端組織通過(guò)手機(jī)的加密通信進(jìn)行聯(lián)系，只是由于手機(jī)設(shè)有密碼，法院也只能要求 iPhone 生產(chǎn)商蘋果公司協(xié)助政府解鎖。

但蘋果公開宣布拒絕遵行這道命令，理由是為了保護(hù)用戶隱私：「如果政府動(dòng)用《所有令狀法案》讓解鎖 iPhone 變得更容易，它就有能力侵入任何人的設(shè)備并取得其數(shù)據(jù)，政府就可以延伸這種侵犯隱私的做法。」

但即便是在義正嚴(yán)辭拒絕過(guò)解鎖用戶 iPhone 的蘋果在兒童性犯罪領(lǐng)域也不是沒(méi)有動(dòng)搖過(guò)。和 Google 一樣，蘋果也想過(guò)使用一種新工具掃描用戶的 iCloud 照片，它會(huì)匹配 NCMEC 已有的圖像數(shù)據(jù)庫(kù)，如果發(fā)現(xiàn)了足夠多的相似圖像就會(huì)移交給操作員進(jìn)行檢查，繼而通知 NCMEC。

蘋果當(dāng)時(shí)還計(jì)劃推出一項(xiàng)新的 iMessage 功能，旨在「當(dāng) ( 孩子 ) 接收或發(fā)送色情照片時(shí)，提醒孩子和他們的父母」。13 歲以下的兒童接收或發(fā)送圖像會(huì)向父母發(fā)出警告，而所有兒童用戶在即將接收、發(fā)送被懷疑的色情圖片時(shí)也會(huì)收到警告通知。

這個(gè)變化趨勢(shì)沒(méi)過(guò)多久就被叫停了，因?yàn)榉磳?duì)的聲浪實(shí)在太大。EFF 認(rèn)為這個(gè)新變化可能「為你的私人生活打開后門 …… 所有 iCloud 照片用戶的隱私減少，而不是改善。」就連斯諾登也表示「不管本意有多好，今天可以掃描兒童色情內(nèi)容，明天就可以掃描任何東西。」

蘋果最終擱置了圖像掃描部分的功能，但依舊保留了在家庭共享計(jì)劃中包含兒童帳戶的可選功能。家長(zhǎng)可以選擇性為孩子開啟分析圖片是否有裸露圖像的功能，如若監(jiān)測(cè)到裸露圖像還會(huì)進(jìn)行模糊處理。

就連蘋果也想要在自己產(chǎn)品中加入 CSAM 識(shí)別功能，很大一部分原因是這屬于紅線——無(wú)論是對(duì)于普通用戶、執(zhí)法機(jī)構(gòu)，亦或是平臺(tái)，它們對(duì)這件事的容忍度都極低。

這同時(shí)也意味著當(dāng)你真的需要科技公司技術(shù)配合的時(shí)候，選擇兒童性犯罪案件先進(jìn)行合作會(huì)獲得較多的民眾支持。

英國(guó)在線安全法案的更新就打算規(guī)定「用戶對(duì)用戶服務(wù)」提供商必須努力向國(guó)家犯罪局報(bào)告任何分享的兒童性剝削和性虐待內(nèi)容。這項(xiàng)立法修正案明確規(guī)定，企業(yè)應(yīng)開發(fā)能夠檢查信息 ( 包括端到端加密通話 ) 的軟件，以主動(dòng)發(fā)現(xiàn)兒童性犯罪材料并向當(dāng)局報(bào)告——否則將面臨制裁。

只是 Google 的故事則告訴我們，哪怕這個(gè)功能順利運(yùn)行也有「錯(cuò)殺」的風(fēng)險(xiǎn)，而每一次誤傷對(duì)于清白的用戶都會(huì)造成傷害。技術(shù)未必能夠解決所有的問(wèn)題，我們熟悉的人工智能、算法在面對(duì)棘手的社會(huì)問(wèn)題時(shí)依舊過(guò)于「單純」，很難依靠單一的技術(shù)去發(fā)現(xiàn)潛在或已經(jīng)發(fā)生的犯罪。

技術(shù)的介入甚至可能給原本艱難的環(huán)境帶來(lái)新的問(wèn)題，并不是初衷是好的就一定會(huì)有好的結(jié)果。畢竟有時(shí)候，通往地獄的道路往往由善意鋪就。

題圖來(lái)自《網(wǎng)絡(luò)煉獄：揭發(fā) N 號(hào)房》