研究人員報(bào)告說，使用通用數(shù)據(jù)收集技術(shù)訓(xùn)練的模型比人類更嚴(yán)厲地判斷規(guī)則違規(guī)行為。

為了提高公平性或減少積壓，機(jī)器學(xué)習(xí)模型有時(shí)被設(shè)計(jì)為模仿人類決策，例如決定社交媒體帖子是否違反有毒內(nèi)容政策。

但麻省理工學(xué)院和其他地方的研究人員發(fā)現(xiàn)，這些模型通常不會(huì)復(fù)制人類關(guān)于違反規(guī)則的決定。如果模型沒有使用正確的數(shù)據(jù)進(jìn)行訓(xùn)練，它們可能會(huì)做出不同的、通常比人類更嚴(yán)厲的判斷。

在這種情況下，“正確”的數(shù)據(jù)是那些被人類標(biāo)記的數(shù)據(jù)，他們被明確詢問物品是否違反某個(gè)規(guī)則。訓(xùn)練涉及向機(jī)器學(xué)習(xí)模型展示數(shù)百萬個(gè)這種“規(guī)范數(shù)據(jù)”的例子，以便它可以學(xué)習(xí)任務(wù)。

但是，用于訓(xùn)練機(jī)器學(xué)習(xí)模型的數(shù)據(jù)通常是描述性的，這意味著人類被要求識(shí)別事實(shí)特征，例如照片中油炸食品的存在。如果使用“描述性數(shù)據(jù)”來訓(xùn)練判斷規(guī)則違規(guī)行為的模型，例如一頓飯是否違反了禁止油炸食品的學(xué)校政策，則模型往往會(huì)高估違規(guī)行為。

這種準(zhǔn)確性的下降可能會(huì)對(duì)現(xiàn)實(shí)世界產(chǎn)生嚴(yán)重影響。例如，如果使用描述性模型來決定一個(gè)人是否有可能重新犯罪，研究人員的發(fā)現(xiàn)表明，它可能比人類做出更嚴(yán)格的判斷，這可能導(dǎo)致更高的保釋金額或更長(zhǎng)的刑事刑期。

“我認(rèn)為大多數(shù)人工智能/機(jī)器學(xué)習(xí)研究人員都認(rèn)為人類對(duì)數(shù)據(jù)和標(biāo)簽的判斷是有偏見的，但這一結(jié)果說明了更糟糕的情況。這些模型甚至沒有復(fù)制已經(jīng)有偏見的人類判斷，因?yàn)樗鼈冋谟?xùn)練的數(shù)據(jù)存在缺陷：如果人類知道圖像和文本的特征將用于判斷，他們會(huì)以不同的方式標(biāo)記這些特征。這對(duì)人類過程中的機(jī)器學(xué)習(xí)系統(tǒng)產(chǎn)生了巨大的影響，“計(jì)算機(jī)科學(xué)和人工智能實(shí)驗(yàn)室（CSAIL）健康ML小組的助理教授兼負(fù)責(zé)人Marzyeh Ghassemi說。

Ghassemi是一篇詳細(xì)介紹這些發(fā)現(xiàn)的新論文的作者，該論文今天發(fā)表在Science Advances上。與她一起發(fā)表論文的是主要作者Aparna Balagopalan，他是電氣工程和計(jì)算機(jī)科學(xué)研究生;多倫多大學(xué)研究生大衛(wèi)·馬德拉斯;David H. Yang，前研究生，現(xiàn)在是ML Estimation的聯(lián)合創(chuàng)始人;麻省理工學(xué)院助理教授迪倫·哈德菲爾德-梅內(nèi)爾;以及Gillian K. Hadfield，Schwartz Reisman技術(shù)與社會(huì)主席，多倫多大學(xué)法學(xué)教授。

標(biāo)簽差異

這項(xiàng)研究源于一個(gè)不同的項(xiàng)目，該項(xiàng)目探索了機(jī)器學(xué)習(xí)模型如何證明其預(yù)測(cè)的合理性。當(dāng)他們?yōu)檫@項(xiàng)研究收集數(shù)據(jù)時(shí)，研究人員注意到，如果要求人類提供有關(guān)相同數(shù)據(jù)的描述性或規(guī)范性標(biāo)簽，他們有時(shí)會(huì)給出不同的答案。

為了收集描述性標(biāo)簽，研究人員要求標(biāo)簽人員識(shí)別事實(shí)特征——這些文本是否包含淫穢語言？為了收集規(guī)范標(biāo)簽，研究人員給標(biāo)簽員一個(gè)規(guī)則，并詢問數(shù)據(jù)是否違反了該規(guī)則——這個(gè)文本是否違反了平臺(tái)的明確語言政策？

對(duì)這一發(fā)現(xiàn)感到驚訝的是，研究人員啟動(dòng)了一項(xiàng)用戶研究以深入挖掘。他們收集了四個(gè)數(shù)據(jù)集來模仿不同的政策，例如可能違反公寓對(duì)攻擊性品種的規(guī)定的狗圖像數(shù)據(jù)集。然后，他們要求參與者小組提供描述性或規(guī)范性標(biāo)簽。

在每種情況下，描述性標(biāo)簽員被要求指出圖像或文本中是否存在三個(gè)事實(shí)特征，例如狗是否看起來具有攻擊性。然后，他們的回答被用來做出判斷。（如果用戶說照片包含攻擊性狗，則違反了該政策。貼標(biāo)員不知道寵物政策。另一方面，規(guī)范性標(biāo)簽者被賦予了禁止攻擊性狗的政策，然后詢問每個(gè)圖像是否違反了該政策，以及為什么。

研究人員發(fā)現(xiàn)，人類更有可能在描述性環(huán)境中將物體標(biāo)記為違規(guī)行為。他們使用標(biāo)簽的差異平均計(jì)算出的差異范圍從用于判斷著裝要求違規(guī)行為的圖像數(shù)據(jù)集上的8%到狗圖像的20%不等。

“雖然我們沒有明確測(cè)試為什么會(huì)發(fā)生這種情況，但一個(gè)假設(shè)是，人們?nèi)绾慰创`反規(guī)則的行為可能與他們?nèi)绾慰创枋鲂詳?shù)據(jù)不同。一般來說，規(guī)范性決定更寬松，“巴拉戈帕蘭說。

然而，數(shù)據(jù)通常使用描述性標(biāo)簽收集，以訓(xùn)練特定機(jī)器學(xué)習(xí)任務(wù)的模型。這些數(shù)據(jù)通常在以后被重新用于訓(xùn)練執(zhí)行規(guī)范性判斷的不同模型，例如違反規(guī)則。

訓(xùn)練煩惱

為了研究重新利用描述性數(shù)據(jù)的潛在影響，研究人員訓(xùn)練了兩個(gè)模型來判斷違反規(guī)則的情況，使用他們的四個(gè)數(shù)據(jù)設(shè)置之一。他們使用描述性數(shù)據(jù)訓(xùn)練一個(gè)模型，使用規(guī)范數(shù)據(jù)訓(xùn)練另一個(gè)模型，然后比較他們的表現(xiàn)。

他們發(fā)現(xiàn)，如果使用描述性數(shù)據(jù)來訓(xùn)練模型，它將低于訓(xùn)練使用規(guī)范數(shù)據(jù)執(zhí)行相同判斷的模型。具體而言，描述性模型更有可能通過錯(cuò)誤地預(yù)測(cè)規(guī)則沖突來錯(cuò)誤分類輸入。在對(duì)人類標(biāo)記人員不同意的對(duì)象進(jìn)行分類時(shí)，描述性模型的準(zhǔn)確性甚至更低。

“這表明數(shù)據(jù)確實(shí)很重要。如果要訓(xùn)練模型以檢測(cè)是否違反了規(guī)則，那么將訓(xùn)練上下文與部署上下文相匹配非常重要，“Balagopalan說。

用戶可能很難確定數(shù)據(jù)的收集方式;Ghassemi說，這些信息可以隱藏在研究論文的附錄中，也可以不由私人公司透露。

提高數(shù)據(jù)集透明度是緩解此問題的一種方式。如果研究人員知道數(shù)據(jù)是如何收集的，那么他們就知道應(yīng)該如何使用這些數(shù)據(jù)。另一種可能的策略是在少量規(guī)范數(shù)據(jù)上微調(diào)描述性訓(xùn)練的模型。這個(gè)想法被稱為遷移學(xué)習(xí)，是研究人員希望在未來的工作中探索的東西。

他們還希望與專家標(biāo)簽師（如醫(yī)生或律師）進(jìn)行類似的研究，看看它是否會(huì)導(dǎo)致相同的標(biāo)簽差異。

“解決這個(gè)問題的方法是透明地承認(rèn)，如果我們想重現(xiàn)人類的判斷，我們必須只使用在那種環(huán)境中收集的數(shù)據(jù)。否則，我們終將得到具有極其苛刻的審核的系統(tǒng)，比人類所做的要嚴(yán)厲得多。人類會(huì)看到細(xì)微差別或做出其他區(qū)分，而這些模型則沒有，“Ghassemi說。

這項(xiàng)研究部分由Schwartz Reisman技術(shù)與社會(huì)研究所，微軟研究院，矢量研究所和加拿大研究委員會(huì)連鎖店資助。