研究人員報告說，使用通用數據收集技術訓練的模型比人類更嚴厲地判斷規則違規行為。

為了提高公平性或減少積壓，機器學習模型有時被設計為模仿人類決策，例如決定社交媒體帖子是否違反有毒內容政策。

但麻省理工學院和其他地方的研究人員發現，這些模型通常不會復制人類關于違反規則的決定。如果模型沒有使用正確的數據進行訓練，它們可能會做出不同的、通常比人類更嚴厲的判斷。

在這種情況下，“正確”的數據是那些被人類標記的數據，他們被明確詢問物品是否違反某個規則。訓練涉及向機器學習模型展示數百萬個這種“規范數據”的例子，以便它可以學習任務。

但是，用于訓練機器學習模型的數據通常是描述性的，這意味著人類被要求識別事實特征，例如照片中油炸食品的存在。如果使用“描述性數據”來訓練判斷規則違規行為的模型，例如一頓飯是否違反了禁止油炸食品的學校政策，則模型往往會高估違規行為。

這種準確性的下降可能會對現實世界產生嚴重影響。例如，如果使用描述性模型來決定一個人是否有可能重新犯罪，研究人員的發現表明，它可能比人類做出更嚴格的判斷，這可能導致更高的保釋金額或更長的刑事刑期。

“我認為大多數人工智能/機器學習研究人員都認為人類對數據和標簽的判斷是有偏見的，但這一結果說明了更糟糕的情況。這些模型甚至沒有復制已經有偏見的人類判斷，因為它們正在訓練的數據存在缺陷：如果人類知道圖像和文本的特征將用于判斷，他們會以不同的方式標記這些特征。這對人類過程中的機器學習系統產生了巨大的影響，“計算機科學和人工智能實驗室（CSAIL）健康ML小組的助理教授兼負責人Marzyeh Ghassemi說。

Ghassemi是一篇詳細介紹這些發現的新論文的作者，該論文今天發表在Science Advances上。與她一起發表論文的是主要作者Aparna Balagopalan，他是電氣工程和計算機科學研究生;多倫多大學研究生大衛·馬德拉斯;David H. Yang，前研究生，現在是ML Estimation的聯合創始人;麻省理工學院助理教授迪倫·哈德菲爾德-梅內爾;以及Gillian K. Hadfield，Schwartz Reisman技術與社會主席，多倫多大學法學教授。

標簽差異

這項研究源于一個不同的項目，該項目探索了機器學習模型如何證明其預測的合理性。當他們為這項研究收集數據時，研究人員注意到，如果要求人類提供有關相同數據的描述性或規范性標簽，他們有時會給出不同的答案。

為了收集描述性標簽，研究人員要求標簽人員識別事實特征——這些文本是否包含淫穢語言？為了收集規范標簽，研究人員給標簽員一個規則，并詢問數據是否違反了該規則——這個文本是否違反了平臺的明確語言政策？

對這一發現感到驚訝的是，研究人員啟動了一項用戶研究以深入挖掘。他們收集了四個數據集來模仿不同的政策，例如可能違反公寓對攻擊性品種的規定的狗圖像數據集。然后，他們要求參與者小組提供描述性或規范性標簽。

在每種情況下，描述性標簽員被要求指出圖像或文本中是否存在三個事實特征，例如狗是否看起來具有攻擊性。然后，他們的回答被用來做出判斷。（如果用戶說照片包含攻擊性狗，則違反了該政策。貼標員不知道寵物政策。另一方面，規范性標簽者被賦予了禁止攻擊性狗的政策，然后詢問每個圖像是否違反了該政策，以及為什么。

研究人員發現，人類更有可能在描述性環境中將物體標記為違規行為。他們使用標簽的差異平均計算出的差異范圍從用于判斷著裝要求違規行為的圖像數據集上的8%到狗圖像的20%不等。

“雖然我們沒有明確測試為什么會發生這種情況，但一個假設是，人們如何看待違反規則的行為可能與他們如何看待描述性數據不同。一般來說，規范性決定更寬松，“巴拉戈帕蘭說。

然而，數據通常使用描述性標簽收集，以訓練特定機器學習任務的模型。這些數據通常在以后被重新用于訓練執行規范性判斷的不同模型，例如違反規則。

訓練煩惱

為了研究重新利用描述性數據的潛在影響，研究人員訓練了兩個模型來判斷違反規則的情況，使用他們的四個數據設置之一。他們使用描述性數據訓練一個模型，使用規范數據訓練另一個模型，然后比較他們的表現。

他們發現，如果使用描述性數據來訓練模型，它將低于訓練使用規范數據執行相同判斷的模型。具體而言，描述性模型更有可能通過錯誤地預測規則沖突來錯誤分類輸入。在對人類標記人員不同意的對象進行分類時，描述性模型的準確性甚至更低。

“這表明數據確實很重要。如果要訓練模型以檢測是否違反了規則，那么將訓練上下文與部署上下文相匹配非常重要，“Balagopalan說。

用戶可能很難確定數據的收集方式;Ghassemi說，這些信息可以隱藏在研究論文的附錄中，也可以不由私人公司透露。

提高數據集透明度是緩解此問題的一種方式。如果研究人員知道數據是如何收集的，那么他們就知道應該如何使用這些數據。另一種可能的策略是在少量規范數據上微調描述性訓練的模型。這個想法被稱為遷移學習，是研究人員希望在未來的工作中探索的東西。

他們還希望與專家標簽師（如醫生或律師）進行類似的研究，看看它是否會導致相同的標簽差異。

“解決這個問題的方法是透明地承認，如果我們想重現人類的判斷，我們必須只使用在那種環境中收集的數據。否則，我們終將得到具有極其苛刻的審核的系統，比人類所做的要嚴厲得多。人類會看到細微差別或做出其他區分，而這些模型則沒有，“Ghassemi說。

這項研究部分由Schwartz Reisman技術與社會研究所，微軟研究院，矢量研究所和加拿大研究委員會連鎖店資助。