バイアスを検出する方法(A Way to Detect Bias)
これは ポール・グレアム翻訳 Advent Calendar 2024 15日目の記事です。
- 英語原文：General and Surprising
- Paul はエッセイの翻訳を許可しています
- 翻訳原稿は https://github.com/spinute/zenn/blob/master/articles/63ce6cd5751627.md で公開しています（修正・改善のための issue や PR を歓迎します）
2015年10月
多くの人が意外に思うかもしれませんが、応募者の属性情報を知らなくても、選考プロセスにおけるバイアスを検出できる場合があります。これは非常に興味深い発見です。なぜなら、選考する側が意識しているかどうかに関係なく、第三者がこの手法を使ってバイアスの有無を確認できるからです。
この手法が使えるのは、以下の3つの条件が揃っているときです：(a) 合格した応募者の中からランダムなサンプルが得られること(b) 彼らのその後の実績が測定可能であること(c) 比較対象となる応募者グループの能力水準がほぼ同等であること。
では、具体的にどのように機能するのでしょうか？バイアスがある状況を考えてみましょう。選考プロセスがある特定のタイプ（タイプx）の応募者に対してバイアスを持っているということは、そのタイプの人々が合格しづらいということを意味します。つまり、タイプxの応募者は、合格するために他のタイプの応募者よりも優秀である必要があります。[1]
その結果として、実際に合格したタイプxの応募者は他の合格者よりも優れた実績を残すことになります。全ての合格者の実績を測定すればこの予測が正しいかどうかを確認できます。
もちろん、実績を測定する方法自体が適切なものでなければなりません。特に、検証しようとしているバイアスによって測定結果が歪められてはいけません。実績を客観的に測定できる分野ではバイアスの検出は比較的簡単です。ある特定のタイプの応募者に対して選考プロセスにバイアスがあるかどうかを知りたければ、彼らの実績が他の合格者より優れているかどうかを調べればいいのです。これは単なる経験則ではありません。むしろこれこそがバイアスの本質的な定義なのです。
具体例を挙げましょう。多くの人が、ベンチャーキャピタルは女性創業者に対してバイアスを持っているのではないかと疑っています。これは簡単に検証できます：投資先企業の中で、女性創業者が率いるスタートアップは、他のスタートアップと比べてより良い成果を上げているでしょうか？数ヶ月前、あるベンチャーキャピタルが（おそらく意図せずに）まさにこの種のバイアスを示すデータを公開しました。ファーストラウンドキャピタルは、自社の投資先企業において、女性創業者が率いるスタートアップが他のスタートアップより63%も優れた成果を上げていることを発見したのです。[2]
冒頭で、この手法が多くの人にとって意外なものだと述べた理由は、このような分析があまり一般的ではないからです。ファーストラウンドの人々も、自社の投資判断におけるバイアスを検証する研究を行っているとは気づいていなかったでしょう。
今後、この手法はより広く使われるようになると予想しています。このような研究に必要なデータは、ますます入手しやすくなってきています。応募者全体に関する情報は通常、選考する組織が厳重に管理していますが、最近では合格者に関するデータが公開されることが増えており、それを収集・分析する人も出てきています。
謝辞
原稿にフィードバックをくれたサム・アルトマン、ジェシカ・リビングストン、ジェフ・ラルストンに感謝します。
Discussion