😖

とある生成AIに関する調査について思ったこと

2024/11/11に公開

https://aidantr.github.io/files/AI_innovation.pdf

この論文の調査は新材料の発見の研究に関する調査でtechnoedgeさんの記事が数値もまとまっていてわかりやすい
https://www.techno-edge.net/article/2024/11/11/3817.html

全体としてAIを活用した結果、効果は出た。
エキスパートは高効率になったが、そうじゃない人たちはその恩恵を受けられなかった
これはエキスパートたちはAIからの提案に対して偽陽性の判定などを経験と勘からできたが
判断力がエキスパートに至らない人たちはその偽陽性の判定タスクで忙殺されてしまった
この評価スキルが乏しい人材は人材整理にあってしまい、抜けた分をAIスキルがある人材で補充されている

また、以下の要因からエキスパートも含めた全体の仕事の満足度が下がった

  1. スキルの活用度低下
  • 73%の科学者が専門的なスキルが十分に活用されていないと報告
  • 長年培った専門知識や教育が活かしきれていない感覚
  1. タスクの質的変化
  • 53%が創造性の低下を指摘
  • より反復的な作業が増加
  1. AIツールの複雑さ
  • 19%が技術的な課題を指摘
  • 新しいツールへの適応が必要

ある科学者が
「[AIツール]のパフォーマンスに感銘を受けましたが...私の教育の多くが今や無価値になってしまったという感覚を避けられませんでした。これは私が訓練されたことではありません。」と述べたそう。

ふーんで終わってしまうかもしれないが
これはエンジニアでも同じことが言えるような気がしている

ベテランエンジニアから、コードを書くことやコードを考える一番楽しいところが取られちゃうじゃない
みたいなことは聞いており

エンジニア力の足りない自分に対してとても共感できるところがあり、
偽陽性の判定タスク
これは生成AIにコードを書いてもらって実行してエラーが出て
のトライ・アンド・エラーを一生繰り返すやつと全く同じだ!と感じた

最近のLLMやコード作成補助アプリなどはだいぶ精度が高くなってきて、前ほどエラー祭りになることが減ってきたが、全く学習データにない新しいフレームワークなどで作ろうとするとエラー祭りが開催されてしまう

非エンジニアでも自然言語でホームページなどを自動生成できるようになってたくさんの人が利用しているが、既存の学習データの範囲内でしか表現できず
個人的にはレゴブロックで説明書に書いてあるブロックではなく同じ形だけども色違いのブロックを使うくらいのことだと思っている

上記の論文のように新材料の研究のように
世界でそんな使い方する人はいないみたいなものを作ろうとすると、 エキスパートじゃないとうまく活用できないのではと感じている

話を論文に戻して
7.2 でAIは生産性を向上させるツールとして認知されており、今後自分の仕事を成功させるためには必須のスキルで再訓練が必要という結果になっている。これは人材整理の部分でも明らかになっている。

ソシャゲでいきなり出てきた環境アイテムをガチャで引けた人だけトップランカーになれますよー
みたいなことが起きてしまってるのかもしれない
みんながそれを使わないのはありえない、でもゲーム(仕事)自体はすごくつまらなくなったってのはちょっと悲しい事実ですよね・・・

6章以降だけでいいので和訳して読んで見たほうが良いと思います。

Discussion