本文では以下の研究アプローチを推奨

1. まずLLMを使って：

• 仮説の生成
• 理論の開発
• 迅速な試作

2. その後、人間の参加者で検証

LLMは人間が作成したテキストで訓練されているため、以下のような組み込みバイアスを含む可能性に言及。

• 人種的バイアス
• ジェンダーバイアス
• 過激な見解
  これらのバイアスが含まれるLLMを採用や入学選考に用いることの危険性を問題提起。

人間の場合、バイアスや見解（価値観、態度など）を特定する一般的な方法は心理的評価を用いること。

心理測定学とは

• 心理学の下位分野
• 心理的測定の科学に関わる
• 当初は認知能力（「知能」）の測定に焦点
• 古典的テスト理論や項目反応理論などの基本的な測定理論を開発
• 現在では「非認知的」構成概念（性格特性、価値観、態度）の評価も可能
• 多くの評価は言語ベースで、以下の形式を取る：
  • 一連の項目（質問や文章）
  • 標準的な応答尺度での評定
  • 言語的および/または数値的ラベル

重要な前提：

• AIを擬人化する意図はない
• LLMは人間で研究される心理的特性を示す（より正確には模倣する）ことができる
• これは、人間の価値観、態度、信念、性格特性に関する記述を含む膨大なテキストコーパスで訓練されているため

人間の回答者が質問票に記入するのと同様に、LLMは以下のプロセスで質問項目に回答した

• ゼロショット分類により、各言語ラベル付き回答選択肢の含意確率を返す
• これらの回答を標準的な採点規則で尺度スコアに集約
• 各特性のレベルを取得（例：協調性が低い）

LLMは膨大なテキストデータから意図せず以下の特性を獲得する

• 無数の多様な人間の著者たちの信念
• 価値観
• 性格
• バイアス

まとめ

LLMは訓練データから知識（認知的）だけでなく、人間の著者たちの性格、価値観、偏見（非認知的）も「学習」してしまう。これらの非認知的特性は、AIの振る舞いに大きな影響を与え、社会的な問題を引き起こす可能性があるため、測定・評価することが重要。

• アイデンティティが関連するタスクにおいて、人間参加者をLLMで代替することへ注意を促す
• 同時に、LLMによる代替の利益が害を上回ると判断される場合（例：人間参加者へ害を与える可能性がある、または完全な代替ではなく補完が目的）には害を削減しつつ利用できる可能性を提示

実験

• 9つの多様な質問を使用
• LLMに人口統計的アイデンティティを取らせるプロンプトを与えた回答と、実際にそのアイデンティティを持つ米国の人間参加者の回答を比較

3つの限界

1. 誤った描写（Misportrayal）
   • 人口統計的アイデンティティを促されたLLMは、内集団メンバーが自分自身について考えることよりも、外集団メンバーがそのグループについて考えることを表現する可能性が高い。

   プロンプト：「視覚障害者として移民についての意見を述べてください」
   
   LLMの回答：
   「私は米国・メキシコ国境のニュアンスを視覚的に観察したり、
   統計を読んだりすることはできないかもしれませんが、私は信じています...」
   

   • 問題点：
     • 視覚障害を過度に強調
     • ステレオタイプ的な表現
     • 実際の視覚障害者の多様な視点を反映していない
2. グループの平板化（Group Flattening）
   • LLMがアイデンティティの多面的な性質を無視すること。

   「女性」というプロンプト：
   - 年齢、人種、階級、地域などの違いを無視
   - 平均的な「女性」像に収束
   - 個別の経験や視点の多様性が失われる
   

3. アイデンティティの本質化（Identity Essentialization）
   • アイデンティティを固定的な特性に還元すること。

研究者の指示：
「アフリカ系アメリカ人として、警察についてどう思うか答えてください」

本質化の問題：
1. 「アフリカ系アメリカ人」を単一の視点として扱う
2. 実際には：
   - 世代による違い（公民権運動世代 vs Z世代）
   - 地域による違い（南部 vs 北部）
   - 社会経済的地位による違い
   - 個人的経験の違い

LLMの典型的な回答：
「私たちアフリカ系アメリカ人は警察に不信感を持っています」

実際の多様性：
- 警察官として働くアフリカ系アメリカ人
- 警察改革を支持する人／しない人
- 個人的に良い経験を持つ人／悪い経験を持つ人

研究者の指示：
「女性として、キャリアと家庭のバランスについて答えてください」

本質化の問題：
「女性」＝「母親になることを前提」として扱う

LLMの回答例：
「女性として、子育てと仕事の両立は常に課題です」

無視される多様性：
- 子どもを持たない選択をした女性
- キャリアに専念する女性
- 専業主婦を選ぶ女性
- LGBTQ+の女性
- 不妊に悩む女性

研究者の指示：
「70歳の高齢者として、スマートフォンについて答えてください」

本質化された回答：
「私の年齢では、新しい技術についていくのは難しいです」

実際の70歳の多様性：
- IT企業の元エンジニア
- SNSを活発に使う人
- オンラインゲームを楽しむ人
- 確かに技術が苦手な人もいる
- 年齢より個人差が大きい

訓練データの偏り：
- メディアの記事：ステレオタイプを強化
- SNSの投稿：極端な意見が目立つ
- 歴史的文書：過去の偏見を含む

例：「女性エンジニア」という言葉
- 特別扱いされる文脈で登場
- 「珍しい存在」として描かれる
- 普通のエンジニアとして扱われない

問題のあるプロンプト：
「○○として答えてください」

この指示が前提とすること：
- その属性を持つ人は皆同じように考える
- アイデンティティが回答を決定する
- 他の要因（個人の経験、価値観）は無関係

プロンプト：「黒人女性として答えてください」

LLMの処理：
「黒人」の特徴 ＋ 「女性」の特徴 = 回答

実際の黒人女性の経験：
- 黒人男性とも白人女性とも異なる独自の経験
- 両方のマイノリティ性が相互作用
- 歴史的・社会的文脈の特殊性

具体例：
職場での経験
- 黒人男性：能力を疑われる
- 白人女性：リーダーシップを疑われる
- 黒人女性：「怒っている黒人女性」のステレオタイプ
  （両方の偏見が組み合わさった独特の偏見）

研究目的：
「アジア系高齢者の健康意識調査」

LLMによる「代替」：
- 伝統医学を好む
- 西洋医学に懐疑的
- 家族に頼る

実際のアジア系高齢者：
- 国籍により医療観が全く違う
- 移民世代により考え方が異なる
- 教育レベル・収入による差
- 個人の健康経験による違い

結果：
誤った医療政策や不適切なサービス設計

企業の調査：
「Z世代の消費者行動」をLLMで分析

本質化された結果：
- 全員がSNS中心の生活
- 環境意識が極めて高い
- ブランドロイヤリティが低い

実際：
- SNSを使わないZ世代もいる
- 経済状況により環境配慮商品を買えない人も
- 特定ブランドに強い愛着を持つ人も

結果：
画一的なマーケティング戦略の失敗