
給娃拍照
卻被封號(hào)?
上著班聊著天, Mark 突然就被警察找上門了。
因?yàn)樗氖謾C(jī)被發(fā)現(xiàn)有一張手機(jī)里含有兒童性器官的照片,于是 Mark 被懷疑是一個(gè)針對(duì)兒童下手的性犯罪者。而且警方發(fā)現(xiàn),這張照片居然來(lái)自 Mark 的兒子 ……
一個(gè)變態(tài)的戀童癖形象大概已經(jīng)開始在你腦海里構(gòu)建起來(lái)。
先別急著憤怒,事情很快出現(xiàn)了反轉(zhuǎn)。原來(lái)這張照片是 Mark 兒子生病后,為了讓醫(yī)生了解病情而拍攝的,而且 Mark 也從未公開發(fā)布過(guò)這張照片。
那么警方是如何得知的呢,是 Google 的 AI 系統(tǒng)檢測(cè)到了 Mark Android 手機(jī)里的照片,并判定他為犯罪嫌疑人,轉(zhuǎn)而向警方舉報(bào),并禁用了他的 Google 賬號(hào)。
在美國(guó),Google 全家桶的普及程度大概相當(dāng)于微信,也就是說(shuō) Google 這一番操作,直接讓 Mark 從線上到線下全方位社死。
更為可怕的是,和 Mark 一樣被平臺(tái)檢測(cè)到異常順便舉報(bào)的人,遠(yuǎn)不止一個(gè)。
孩子線上問(wèn)診的照片,讓他被認(rèn)定為罪犯
Mark 的孩子在學(xué)習(xí)走路時(shí)患上了腹股溝炎癥。由于疫情嚴(yán)重,當(dāng)時(shí)大部分人都在居家隔離,Mark 只能選擇線上問(wèn)診,提供孩子腹股溝的照片,試圖幫醫(yī)生更好地做出診斷,醫(yī)生也根據(jù)描述的病情、展現(xiàn)的照片開出了處方。
但就是這些照片出了問(wèn)題,Android 手機(jī)里的照片自動(dòng)同步到了云端,Google 系統(tǒng)將這些照片識(shí)別為了兒童性虐待內(nèi)容 CSAM(Child Sexual Abuse Material)。

在被識(shí)別后,Mark 的網(wǎng)絡(luò)使用癱瘓了一半,因?yàn)樗环饬恕mail,用戶用來(lái)登錄其它平臺(tái)的賬戶郵箱;Google Fi,用戶的移動(dòng)虛擬運(yùn)營(yíng)商,打電話上網(wǎng)都用得上;Google Photos,再也無(wú)法訪問(wèn),里面有你家人的照片回憶 …… 這些通通被封了。因?yàn)?Google 覺(jué)得你涉嫌兒童性犯罪,所以封了你的賬戶順便「替你」報(bào)了警——平臺(tái)封號(hào)后向國(guó)家失蹤與被剝削兒童中心(NCMEC)提交了一份報(bào)告,這份報(bào)告引發(fā)了警方的調(diào)查。
10 個(gè)月后,這位父親收到了舊金山警局的通知,他們根據(jù) Google 提供的照片報(bào)告對(duì)他進(jìn)行了全方位的調(diào)查。

為了更好調(diào)查潛在的兒童性犯罪嫌疑人,警方還向 Google 發(fā)出了搜查令,要求提供 Mark 所有賬戶信息,視頻、照片、位置數(shù)據(jù)、互聯(lián)網(wǎng)搜索報(bào)告等內(nèi)容。對(duì) Mark 來(lái)說(shuō),這真的是無(wú)妄之災(zāi),要是警察調(diào)查大張旗鼓一些,恐怕連工作都沒(méi)法做了。
好在仔細(xì)調(diào)查后,警方確認(rèn)了這位父親并不存在任何針對(duì)兒童的性犯罪行為。
這位父親很清白,但 Google 很死板。即便是提供了經(jīng)過(guò)警方證實(shí)的無(wú)罪報(bào)告,也無(wú)法讓他成功向 Google 申訴找回賬戶。他曾經(jīng)留在自己賬戶中的照片信息都已被完全鎖定,無(wú)法再看到。能看到的只有 Google 的提醒——
你的賬戶因含有嚴(yán)重違反 Google 政策且可能非法的有害內(nèi)容而被禁用。

申請(qǐng)解封是沒(méi)有用的,你只能換郵箱、換電話,在數(shù)字世界從頭開始。外媒報(bào)道了這樣兩個(gè)普通用戶,他們都為孩子網(wǎng)上問(wèn)診拍攝了兒童性器官相關(guān)的照片,從而被判定違規(guī)封號(hào),直到今天都無(wú)法找回自己的賬號(hào)。
他們甚至不是特例。2021 年,Google 向 NCMEC 的 CyberTipLine(舉報(bào)兒童性侵項(xiàng)目)報(bào)告了 621583 起案件。NCMEC 則向當(dāng)?shù)貓?zhí)法部門公告了 4260 名潛在受害者,請(qǐng)求警方協(xié)助調(diào)查,在這些孩子受到進(jìn)一步傷害時(shí)解救他們。
聽上去是一個(gè)技術(shù)及時(shí)制止犯罪、預(yù)防犯罪的好故事,但當(dāng)這個(gè)名單里包含和 Mark 孩子一樣只是問(wèn)診的未成年時(shí),就是「抓住一千,也錯(cuò)抓一個(gè)」的悲傷故事了。

在所有技術(shù)偵查領(lǐng)域中,唯有兒童性犯罪例外
只是雖然有錯(cuò)抓,Google 明顯也不打算改。不僅不解封經(jīng)過(guò)警方認(rèn)證的清白用戶賬戶,也不打算停止這個(gè)會(huì)有缺陷的審查機(jī)制。
Google 發(fā)言人 Christa Muldoon 就表示:「我們遵循美國(guó)法律定義什么是 CSAM,并使用哈希匹配技術(shù)和人工智能的組合來(lái)識(shí)別它,再?gòu)奈覀兊钠脚_(tái)上刪除它。我們的兒童安全專家團(tuán)隊(duì)會(huì)審查標(biāo)記內(nèi)容準(zhǔn)確性,還會(huì)咨詢兒科醫(yī)生確保我們能夠識(shí)別用戶可能尋求醫(yī)療建議的情況。」

問(wèn)題在于,Google 的審核團(tuán)隊(duì)并沒(méi)有醫(yī)學(xué)專業(yè)背景,在審查每個(gè)案例時(shí)也不一定都會(huì)咨詢專業(yè)的兒科醫(yī)生。所以錯(cuò)判在這個(gè)過(guò)程中可以說(shuō)是難以避免的,唯一能夠降低這種錯(cuò)判影響力的只有專業(yè)機(jī)構(gòu)的判定和執(zhí)法機(jī)構(gòu)的二次審查。
但對(duì)于被誤判的人來(lái)說(shuō),這真的是無(wú)妄之災(zāi)。因?yàn)檫@種誤判,你的重要賬號(hào)被鎖了;因?yàn)檫@個(gè)判斷,你被警察調(diào)查了;因?yàn)檫@些錯(cuò)判,身邊人看你可能也會(huì)戴上有色眼鏡。
電子前沿基金會(huì) EFF 的技術(shù)項(xiàng)目主任 Jon Callas 對(duì)媒體表示 Google 的做法是有侵入性的。「這正是我們都擔(dān)心的噩夢(mèng)——他們要掃描我們的家庭相冊(cè),然后我們就會(huì)遇到麻煩。」

但這不是 Google 才會(huì)遇到的問(wèn)題,因?yàn)閹缀跛锌萍季揞^在關(guān)乎 CSAM 內(nèi)容時(shí)都有異常積極的行動(dòng)。Amazon 和 Facebook 和 Google 一樣有人工智能 + 人工的審核機(jī)制,發(fā)現(xiàn)有嫌疑的用戶業(yè)余酌情刪除或禁用 URL、圖像、聊天功能,嚴(yán)重的封禁帳戶。2021 年,亞馬遜也向 NCMEC 提交了 33848 份 CSAM 報(bào)告。至于隱私問(wèn)題,在這個(gè)技術(shù)打擊犯罪的故事里似乎被忽略了。
在捍衛(wèi)用戶隱私的故事中,蘋果拒絕「協(xié)助解鎖」的故事最讓人印象深刻。
當(dāng)時(shí)美國(guó)福利機(jī)構(gòu)內(nèi)發(fā)生了一起嚴(yán)重的恐怖襲擊槍擊案,兇手在逃亡途中被擊斃。警方在調(diào)查中發(fā)現(xiàn)兇手與中東「伊斯蘭國(guó)」極端組織通過(guò)手機(jī)的加密通信進(jìn)行聯(lián)系,只是由于手機(jī)設(shè)有密碼,法院也只能要求 iPhone 生產(chǎn)商蘋果公司協(xié)助政府解鎖。
但蘋果公開宣布拒絕遵行這道命令,理由是為了保護(hù)用戶隱私:「如果政府動(dòng)用《所有令狀法案》讓解鎖 iPhone 變得更容易,它就有能力侵入任何人的設(shè)備并取得其數(shù)據(jù),政府就可以延伸這種侵犯隱私的做法。」

但即便是在義正嚴(yán)辭拒絕過(guò)解鎖用戶 iPhone 的蘋果在兒童性犯罪領(lǐng)域也不是沒(méi)有動(dòng)搖過(guò)。和 Google 一樣,蘋果也想過(guò)使用一種新工具掃描用戶的 iCloud 照片,它會(huì)匹配 NCMEC 已有的圖像數(shù)據(jù)庫(kù),如果發(fā)現(xiàn)了足夠多的相似圖像就會(huì)移交給操作員進(jìn)行檢查,繼而通知 NCMEC。
蘋果當(dāng)時(shí)還計(jì)劃推出一項(xiàng)新的 iMessage 功能,旨在「當(dāng) ( 孩子 ) 接收或發(fā)送色情照片時(shí),提醒孩子和他們的父母」。13 歲以下的兒童接收或發(fā)送圖像會(huì)向父母發(fā)出警告,而所有兒童用戶在即將接收、發(fā)送被懷疑的色情圖片時(shí)也會(huì)收到警告通知。

這個(gè)變化趨勢(shì)沒(méi)過(guò)多久就被叫停了,因?yàn)榉磳?duì)的聲浪實(shí)在太大。EFF 認(rèn)為這個(gè)新變化可能「為你的私人生活打開后門 …… 所有 iCloud 照片用戶的隱私減少,而不是改善。」就連斯諾登也表示「不管本意有多好,今天可以掃描兒童色情內(nèi)容,明天就可以掃描任何東西。」
蘋果最終擱置了圖像掃描部分的功能,但依舊保留了在家庭共享計(jì)劃中包含兒童帳戶的可選功能。家長(zhǎng)可以選擇性為孩子開啟分析圖片是否有裸露圖像的功能,如若監(jiān)測(cè)到裸露圖像還會(huì)進(jìn)行模糊處理。
就連蘋果也想要在自己產(chǎn)品中加入 CSAM 識(shí)別功能,很大一部分原因是這屬于紅線——無(wú)論是對(duì)于普通用戶、執(zhí)法機(jī)構(gòu),亦或是平臺(tái),它們對(duì)這件事的容忍度都極低。

這同時(shí)也意味著當(dāng)你真的需要科技公司技術(shù)配合的時(shí)候,選擇兒童性犯罪案件先進(jìn)行合作會(huì)獲得較多的民眾支持。
英國(guó)在線安全法案的更新就打算規(guī)定「用戶對(duì)用戶服務(wù)」提供商必須努力向國(guó)家犯罪局報(bào)告任何分享的兒童性剝削和性虐待內(nèi)容。這項(xiàng)立法修正案明確規(guī)定,企業(yè)應(yīng)開發(fā)能夠檢查信息 ( 包括端到端加密通話 ) 的軟件,以主動(dòng)發(fā)現(xiàn)兒童性犯罪材料并向當(dāng)局報(bào)告——否則將面臨制裁。
只是 Google 的故事則告訴我們,哪怕這個(gè)功能順利運(yùn)行也有「錯(cuò)殺」的風(fēng)險(xiǎn),而每一次誤傷對(duì)于清白的用戶都會(huì)造成傷害。技術(shù)未必能夠解決所有的問(wèn)題,我們熟悉的人工智能、算法在面對(duì)棘手的社會(huì)問(wèn)題時(shí)依舊過(guò)于「單純」,很難依靠單一的技術(shù)去發(fā)現(xiàn)潛在或已經(jīng)發(fā)生的犯罪。
技術(shù)的介入甚至可能給原本艱難的環(huán)境帶來(lái)新的問(wèn)題,并不是初衷是好的就一定會(huì)有好的結(jié)果。畢竟有時(shí)候,通往地獄的道路往往由善意鋪就。
題圖來(lái)自《網(wǎng)絡(luò)煉獄:揭發(fā) N 號(hào)房》
原文地址:http://www.myzaker.com/article/630a36f98e9f0922495a106c
轉(zhuǎn)載請(qǐng)注明:一張照片差點(diǎn)毀掉一個(gè)父親,科技公司別再打著善意的旗號(hào)作惡 | 快導(dǎo)航網(wǎng)






川公網(wǎng)安備51012402001058號(hào)