LLM 演習

2024の時は、翌年、若い人に参加してもらおうと、無料枠でやることを目標にしており、結果は提出できたものの、初めてのツールに振る舞わされ、十分なエラーの記録と対策を整理できず、今年は利用するツールを事前に触って確認しながらきました。有給休暇をとったものの、午前中で無料枠を使い果たし、午後、遊んでいるわけにもいかず、有償枠に突入しました。Google Colab, Hugging faceと、gitlab or githubの連携がうまく設定できておらず、エラー記録が全部はできていません。公開できないこともあることを想定し、プライベートでの運用を検討しています。課題としては、いろいろなサービスの連携が別々のID、パスワード管理だと、そこが障壁になることを確認。

教育環境は、実務環境と同じにした方がいいというのが感想。

誰かがやったことをコピーして提出することを恐れていては何もならない。
記録を撮ってもらい全て提出してもらえば、コピーして動かしただけかは、50%くらいの確率で判定できる。
全部を確認するのは不可能。理由は、ひとりづつ、すこしづつ変えるスクリプトをつくっておき、年月日時秒を種に乱数を生成して、同じ実行結果がでないようにすることは可能。
成績を競うよりも、本人が伸びたかどうかは、本人が一番よくわかるはず。
単位を取ったり、認定するための成績評価は無意味。

LLMで正解がある問題を解くのは、時代遅れかも。
正解がない問題の、統計を取り、確率分布を予測し、相対的改良ができればいいという取り組みをもっと加速させるといいかもってなった。