人間とAIの協働がプラスに働くとき
はじめに
こんにちは。クラウドエース株式会社 第四開発部の相原です。
今回の記事は「Nature」誌に投稿された、米MITのミシェル・ヴァッカーロ（Michelle Vaccaro）氏らの論文「When combinations of humans and AI are useful: A systematic review and meta-analysis」を参考に、人間と AI の協働がプラスに働く場面についてまとめました。
記事の要約
- 米マサチューセッツ工科大学の研究チームは、人間と AI の協働が相乗効果をもたらす場面についてメタ分析を行いました。
- 分析の結果、意外にも人間と AI の協働は、人間・AI 単独の場合よりもパフォーマンスが劣ることが確認されました。
- どのタスクにおいて人間と AI 単独、人間と AI の協働のどのパフォーマンスが高いのかを理解し、それぞれの長所を活かすことが重要であると思われます。
人間 - AI システム（human-AI systems）
AI 技術の進化は目覚ましく、私たちの生活や仕事に大きな影響を与えています。医療、金融、法律といった分野から、日々の移動や買い物、コミュニケーションまで、AI はさまざまな場面で活用されています。
特に研究の分野でも注目されているのが、人間と AI が協力し、それぞれの強みを活かす「人間 - AI システム（human-AI systems）」です。
今までの研究で、人間の創造性や直感と、AI の計算能力やデータ分析能力を組み合わせることで、より良い結果が得られることが報告されています。
米カーネギーメロン大学のアンヘル・カブレラ（Ángel Cabrera）氏らの研究によれば、鳥の画像の分類課題で、人間単独（81%）と AI 単独（73%）でのパフォーマンスと比較して、人間と AI の協働（90%）のパフォーマンスが高かったことがわかっています。
Credit: Cabrera et al (2023) の方法と結果。鳥の画像の分類課題で、人間単独と AI 単独でのパフォーマンスと比較して、人間と AI の協働のパフォーマンスが高かった。鳥の画像の分類課題での AI 単独の正答率は 80% を超えているが、ベースラインとの比較になっている。
このようなタスクでは、人間が AI のミスしやすいポイントを直感的に判断し、出力された結果を取捨選択することで精度を上げられるようです。
しかし鳥の分類課題のように、いつも人間と AI の長所が噛み合い、パフォーマンスが高まるとも限りません。 AI が間違えているところをそのまま採用してしまうこともあるでしょうし、AI が答えを出してくれているにも関わらず人間のバイアスに上書きされてしまうケースもあるでしょう。
そこで米マサチューセッツ工科大学の研究チームは、人間と AI の協働がプラスの効果をもたらす場面についてメタ分析を行いました。
研究チームは、人間と AI の協働がタスクのパフォーマンスに与える影響を調べた過去の研究74件を分析に含め、検討を行っています。
結果
メタ分析の結果を以下にまとめます。
- 人間と AI の協働が、人間単独または AI 単独の最も優れたパフォーマンスと比較して、全体的にパフォーマンスが低い傾向がありました。
- 意思決定が伴うタスクでは、人間と AI の協働は人間単独と AI 単独よりもパフォーマンスが低下する傾向が見られました。一方、創造的なタスクでは、人間と AI の協働に相乗効果が見られました。
- 人間が AI よりも優れたパフォーマンスを発揮する場合、人間と AI の協働は人間・AI 単独よりも優れたパフォーマンスを発揮する傾向がありました。逆に、AI のパフォーマンスが人間よりも優れている場合は、人間と AI の協働は AI 単独よりもパフォーマンスが低下しました。
これらの結果から、人間と AI の協働がプラスに働くかは、人間と AI の得意領域を考慮することが重要であることがわかります。
メタ分析の対象となった研究一覧と人間単独、AI 単独、人間と AI の協働でのパフォーマンスのスコアとタスクの種類等がOSFにオープンソースとして公開されていました。
オープンソースのデータを参考に、どのタスクにおいて、人間単独、AI 単独、人間と AI の協働でのパフォーマンスが最も高いのかを分類してみたら以下のようになりました。
Credit: Vaccaro et al (2024) のメタ分析の対象になった研究を人間単独、AI 単独、人間と AI の協働でのパフォーマンスの中で最も高いカテゴリに分類。それぞれのスコアの差分やサンプル数等が気になる方はこちらから確認してください。
人間単独でのパフォーマンスが高かったのは、コミュニケーション能力、複雑な判断と意思決定、そして倫理的な判断が必要な領域でした。
特に、チャットボットの回答の満足度に関しては、人間の方が相手の意図を汲み取りながら会話を進める能力に優れているため、AI よりも高いパフォーマンスを発揮します。
また、住宅価格の予測や学生の成績予測のように、データ化が難しい多くの要素が絡み合う問題においても、人間は総合的な判断を下すことができると言えるでしょう。
さらに、医療現場における胃がんの診断のように倫理的な判断が求められる場面でも、人間単独で行った方が妥当な判断ができます。
そして人間単独でのパフォーマンスが AI よりも優れている場合、AI を用いることでより優れたパフォーマンスを発揮する傾向があることから、これらの領域において積極的に AI を活用する姿勢は間違っていないと思います。
一方で、AI 単独でのパフォーマンスが高かった領域は、大量のデータ処理、特定のタスクの自動化、人間のバイアスを回避することが挙げられます。
特に、みなさんご存知の通り、手術の際の動画や X 線画像の分類・検出など、大量のデータを効率的に処理し、パターンを認識するタスクにおいて、AIは高い精度を発揮します。
ただし、診断のような倫理的判断を伴う場合には、人間と AI が協働する方がより高いパフォーマンスを発揮します。
さらに、AI は人間が持つバイアスを回避し、より客観的な判断を下すことができます。
例えば、ニュースの信頼性評価の課題など、性別や年齢といった個人の属性に左右されず、客観的事実に基づいて評価することができると言えるでしょう。
最後に
現実問題として、このタスクにおいて AI の精度や確度が人間よりも高い場合でも、そのまま丸投げすることはできません。AI のアウトプットには責任の所在が問われるため、必ず人間のチェックが必要です。
その時に、今回の記事が「このタスクは人間と AI のどちらの方が得意だっけ」という疑問に答える1つの目安になれば幸いです。
参考文献
- Cabrera, Á. A., Perer, A., & Hong, J. I. (2023). Improving human-AI collaboration with descriptions of AI behavior. Proceedings of the ACM on Human-Computer Interaction, 7(CSCW1), 1-21.
- Vaccaro, M., Almaatouq, A., & Malone, T. (2024). When combinations of humans and AI are useful: A systematic review and meta-analysis. Nature human behaviour, 8(12), 2293–2303.
Discussion