人はなぜAIの判断を信じすぎるのか。顔照合・指紋・再犯予測の研究が示す「自動化バイアス」

Goddardら（2012）[1]

医療を中心に、航空や軍事なども含めた13,821本の論文から74本を選んで調べた。医療の4研究をまとめた分析では、支援システムの助言が誤っていると、支援がないときより間違った判断をするリスクが26%高まった。正しかった判断を、助言を見て誤った判断に変えてしまう例は6〜11%だった。頼りすぎを強める要因として、経験の浅さ、仕事量の多さ、時間の切迫が挙げられた。

対象: 74の研究（医療31、人とコンピュータの一般的な研究27、航空6、軍事6など） ／ 限界: 研究ごとに課題や測り方が違い、捜査や裁判の場面を直接調べたものではない。

FyshとBindemann（2018）[3]

空港の自動ゲートのように、2枚の顔写真に機械の判定が表示された状態で、同じ人かどうかを答えてもらった。判定をよく確かめるよう指示しても、別人の写真の正答率は、「別人」と表示されたときは70%だったが、「同一人物」と表示されると48%に下がった。判定を無視するよう指示したときも、正答率は下がった。

対象: 英国の大学生30人ずつの3つの実験 ／ 限界: 訓練を受けた入国審査官ではなく学生が対象で、表示は実際の顔認証システムを模したもの。

Drorら（2012）[4]

指紋の専門家23人に、ふだんの業務の中で3,680件の候補リスト（計55,200回の照合）を見てもらい、本当に一致する指紋がリストの何番目に来るかを変えた。専門家の判断は候補の順番に影響された。リストの上位にあるほど誤って「一致」とされやすく、正しい指紋がもっと下にあっても誤りは起きていた。

対象: 指紋の専門家23人 ／ 限界: 1つの研究で、誤りの具体的な割合は要旨から確認できなかったためここでは扱わない。

DresselとFarid（2018）[5]

米国の裁判で使われる再犯予測ツールCOMPASと、刑事司法の専門知識がない400人を比べた。1,000人の被告について2年以内の再犯を予測すると、COMPASの正答率は65.2%だった。1人ずつの平均は62.1%で、COMPASをわずかに下回った。20人ずつ多数決にすると67.0%で、COMPASとの統計的な差はなかった。年齢と過去の有罪判決の数の2つだけを使う単純な計算でも、ほぼ同じ正確さになった。

対象: 米国フロリダ州の2013〜2014年の被告1,000人の記録と、オンラインで集めた参加者400人 ／ 限界: 1つの地域のデータで、短い説明文だけを見た判断。

Dietvorstら（2015）[6]

反対の現象もある。5つの実験で、予測を出す計算の仕組み（アルゴリズム）が間違えるのを見た人は、それを信頼しなくなった。そのアルゴリズムが人間より正確だと見ていた人でも、人間の予測を選びやすかった。研究者はこれを「アルゴリズム嫌悪」と名づけた。

対象: 予測課題を使った5つの実験 ／ 限界: 予測の課題を使った実験で、捜査や裁判の場面ではない。