-
谷歌研究員質(zhì)疑“看臉識罪犯”,交大教授撰文:我被扣帽子了
關(guān)鍵字: 罪犯臉谷歌帽子交大看臉識罪犯論文研究院“基礎(chǔ)概率謬誤”(base rate fallacy)
來自谷歌的作者們是“為廣大的受眾,不只是為研究者”寫這篇文章的,但他們隨意地忽視了一些非技術(shù)流的博客和媒體報道里出現(xiàn)的“基礎(chǔ)概率謬誤”跡象。
人腦往往會被一個特定事件的高條件概率鎖住,而忘記了該事件在大環(huán)境里發(fā)生的極低概率。我們文章中最強的基于深度學(xué)習(xí)的面相分類器有89%的識別率(注意:這是基于我們目前的訓(xùn)練數(shù)據(jù),還有待用更大的數(shù)據(jù)核實),很多人就認(rèn)為,這么高,這還不一試一個準(zhǔn)?。▏饩陀形恼聢蟮牢覀儠r就驚呼“correct 9 out 10 times”)。有人在網(wǎng)上調(diào)侃 “教授,把你的臉放進去試試”。好吧,這倒是蠻好玩的。假設(shè)我的臉被測陽性(被認(rèn)定為罪犯),我有多高概率有犯罪傾向呢?計算這個概率需要用貝葉斯定理:
P(罪|+) = P(+|罪)*P(罪) / [ P(+|罪)*P(罪) + P(+|非)*(1-P(罪)) ]
上式中P(+|罪)=0.89 是罪犯的臉被我們深度學(xué)習(xí)測試方法判陽性的概率,P(罪)=0.003是中國的犯罪率,P(+|非)=0.07是我們方法假陽性(把一個非罪犯判定為罪犯)的概率。將這些數(shù)值代入貝葉斯公式,結(jié)果是武筱林有3.68%的概率犯罪。我想,這一路從89%到3.68%走下來,原來不少罵我們的人就釋懷了吧。那些叫著要紀(jì)委用我們的方法的網(wǎng)友也該歇歇了。不過,我這里再次鄭重聲明,我們堅決反對在執(zhí)法司法中使用我們的方法,原因不僅僅是上面演算的結(jié)果。
基礎(chǔ)概率謬誤是媒體慣用的伎倆,夸張地描述某項大眾所不熟悉的新技術(shù)或新研究,借此操縱大眾,逐步灌輸對人工智能研究的不理性恐懼。
無用輸入(Garbage in)?
盡管我們對來自谷歌的作者們的精英主義論調(diào)感到不適,但我們認(rèn)同他們提出的進步性的社會價值。他們實在沒必要像編年史一樣列出歷史上那些臭名昭著的種族主義者,接著把我們列在后面。但起碼在理論上,獨立于主流社會觀念的研究客觀性是存在的。
我們都很了解“無用輸入”和“無用輸出”。然而,來自谷歌的作者們似乎在說,因為輸入數(shù)據(jù)中人類的偏見是無法避免的,所以機器學(xué)習(xí)工具無法用于社會計算。就像大多數(shù)技術(shù)一樣,機器學(xué)習(xí)是中性的。如果像他們說的,機器學(xué)習(xí)可以用來鞏固社會計算問題中的人類偏見,但機器學(xué)習(xí)也可以用于發(fā)現(xiàn)并矯正人類偏見。他們擔(dān)心反饋循環(huán)的問題,然而,反饋本身就既可以是負(fù)向的,也可以是正向的。就算“犯罪性”是個十分復(fù)雜的問題,受過良好訓(xùn)練的人類專家可以努力確保訓(xùn)練數(shù)據(jù)的客觀性,也就是說,能使用獨立于嫌犯外貌的正確判決。如果數(shù)據(jù)標(biāo)簽是不帶人類偏見的,那機器學(xué)習(xí)在客觀性上無疑是優(yōu)于人類判斷的。
即使標(biāo)簽中存在噪點,無論是隨機的還是系統(tǒng)性的,也有科學(xué)辦法能洗滌和恢復(fù)/提高結(jié)果的準(zhǔn)確度。我們不能畏于民粹主義就在科學(xué)知識上讓步。
過擬合(overfitting)的風(fēng)險
批評者很快就指出了我們實驗中所用的樣本集較小,存在數(shù)據(jù)過擬合的風(fēng)險。我們痛苦地意識到這個缺點,但鑒于某些顯然的原因,我們難以拿到更多的中國男性罪犯身份證照片(這篇批評文章可能讓我們豐富數(shù)據(jù)集的希望化為泡影)。然而,在如下所示的論文3.3章節(jié),我們已盡全力驗證我們的發(fā)現(xiàn),這又被他們完全忽視了。
“鑒于社會上對這個話題的敏感性和反響度,以及對面相術(shù)的質(zhì)疑,我們在公布結(jié)果前異常謹(jǐn)慎。我們故意跟自己唱反調(diào),設(shè)計實施了以下實驗,以挑戰(zhàn)分類器的正確性……”
我們把訓(xùn)練集中的照片以五五開的概率隨機標(biāo)簽為罪犯或非罪犯,看看四個分類器能否以超過50%的概率區(qū)別這兩組照片。結(jié)果是四個分類器都失敗了。一些類似的、更具挑戰(zhàn)性的測試結(jié)果也是如此(詳情參見論文)。這些實證結(jié)果,說明論文中分類器出色的表現(xiàn)并非由數(shù)據(jù)過擬合所致。否則,在樣本集大小和類型一樣的情況下,分類器也應(yīng)能夠區(qū)別兩組隨機標(biāo)簽的數(shù)據(jù)。
“白領(lǐng)子”( white collar)
批評文章也質(zhì)疑道,罪犯組的身份證照片大多是不穿襯衫的,而非罪犯組的身份證照片大多穿了白領(lǐng)子的襯衫。在這點上,我們忘了說明,在實驗中,我們訓(xùn)練和測試使用的圖片全部是只摳出了臉部的。
但不管怎樣,這個“白領(lǐng)子”線索還牽出了另一個重要的細(xì)節(jié),在這里我們需要向讀者們道歉。這個細(xì)節(jié)是,我們無法控制那些實驗對象的社會經(jīng)濟地位。我們不是不想控制,但基于保密協(xié)議,我們不能拿到元數(shù)據(jù)??紤]到這個微小差別,我們預(yù)期分類器的準(zhǔn)確率在控制社會經(jīng)濟地位這一項后會下降。這是基于社會歧視的一個推論。事實上,也因此,我們認(rèn)為這項研究結(jié)果對社會科學(xué)來說是有意義的。
在論文中,我們還采取了一切措施,避免機器學(xué)習(xí)方法,特別是CNN,檢測到圖像間一些淺表的差距,比如壓縮噪點或照相機的不同(參見論文3.3章節(jié))。
總之,我們感謝所有針對論文的問題和討論,但堅決反對歪曲我們的初衷。比如James Weidmann說“武和張論文的意圖正是如此”,這既不專業(yè),也很傲慢。
(澎湃新聞記者 虞涵棋 楊漾)
- 原標(biāo)題:谷歌研究員質(zhì)疑“看臉識罪犯”,交大教授撰文:我被扣帽子了
- 責(zé)任編輯:王佳璐
-
“美國已解除這項對華出口禁令” 評論 271最新聞 Hot
-
“沒客戶!”獲47億補貼后,三星在美芯片廠推遲投產(chǎn)
-
約翰遜急著表決,民主黨領(lǐng)袖連續(xù)講了6小時,還沒?!?/a>
-
“六代機機密會議,扎克伯格突然闖入”,白宮回應(yīng)
-
8年后,默克爾吐槽特朗普:真裝!
-
美軍評估又變了,“不是幾個月是兩年”
-
“即使特朗普下臺,美國政策也不會變,中日韓要合作”
-
“船到橋頭自然直”,印外長回應(yīng)美議員
-
俄海軍副總司令陣亡
-
“在越南的中國制造商松了一口氣”
-
他倒戈后就躲起來了,電話都不接,同僚評價:聰明
-
“美國已解除這項對華出口禁令”
-
“印軍將全面排查中國產(chǎn)零部件”
-
美國和盟友鬧掰?“本質(zhì)沒變,中國需高度警惕”
-
斯塔默不吱聲,英財相當(dāng)場落淚,“哭崩”市場
-
家樂福CEO放話:對中國小包裹,要學(xué)特朗普征稅100%
-
莫迪表態(tài):金磚是重要平臺
-