株式会社アルゴリズム デザインエンジニアの安藤です。
今回は2023/06/26に弊社のオープンスペースにて行われたイベント 【LT大会】AI捻じ伏せプロンプト選手権 〜言うこと聞いてよLLM2023〜 のレポートをお届けします。
ハッシュタグ #アルゴテック でお届けしておりましたので、イベントの雰囲気についてはTwitterも合わせてご覧いただければと思います。
AIをねじ伏せる とは？
OpenAIなどのAIもといLLMを使用したことがあれば「あるある」と納得していただけると思うのですが、LLMから任意のレスポンスを確実に・あるいは高い精度で得ようとするというのは意外と難易度が高い事柄です。
聞いてもいない蘊蓄を語りだす、謎の前置きをしだす、前提条件を忘れている、そもそも欲しい回答から離れた内容になっている…などなど、AIから戻される回答を制御するのには実はかなりの工夫が必要です。
それらの工夫のについて「AIをねじ伏せる」と表現し、その知見や経験を共有しようというのがこのイベントの趣旨となります。
登壇者＆セッション内容紹介
本イベントでは7人の方にLT形式でセッションを頂きました！！
黒神 氏 (@kokushing) : AI彼女の感情制御を頑張る話
定型文ではなく、自由な言葉で話しかけて、その反応を返してくれる…AIを使うものなら恐らく誰もが一度は思い描いたであろうAIのパートナー。
今まではSFチックな存在でしたが、黒神さんが現実のものとして爆誕させるに至りました。
一部の界隈を大いにざわつかせたこのAI彼女。この子の感情の制御について、どのような工夫が施されているかをお話しいただきました。
以前までのAI彼女、ひよりちゃんはレスポンス時にランダムでモーションを再生していたため、会話内容と表情にズレが発生していました。
レスポンスがどのような感情によって振る舞われるべきなのかをFunction Callingで識別・制御して、ひよりちゃんとのコミュニケーションのUXを向上させようという内容について、具体的な実装方法がセッション中で紹介されています。
📄 資料URL
🎦 配信動画
13:56〜 黒神さんのセッション中配信時に機材トラブルがあり音声が序盤途切れてしまいました、大変申し訳ありません
bbz 氏 (@bbz662): シュッと Boot Camp
「ねじ伏せるってなんだろう？」「そうだね、ハートマン軍曹だね！」という理屈から繰り出される、どんな言葉を投げかけられても 「Sir,Yes Sir!」 しか回答しないAIを実現するためのプロンプト制御テクニックについてをお話しいただきました。
LLMを使ったことがある人ならこれがいかに難しいことなのかお気づきになると思います。
このプロンプト（原文は英語）について、より深い検証についての話もセッション中に登場しています。特に反抗度と反抗度に影響・起因する要素の算出の表と内容は圧巻です。是非資料と動画を合わせてご覧ください。
📄 資料URL
🎦 配信動画
22:55〜
サガワフミヤ 氏 (@fumi_sagawa): ChatGPTちゃん、本当の君を教えてよ。
AI彼女の系譜のセッションかと思いきや、実務や製品にAIの出力したリザルトを乗せる上で注意するべきこと、ねじ伏せ選手権ではあるが、OpenAIのガイドラインに於いてねじ伏せしてはだめなラインなどを示してくれるという二段階変身（！？）をするセッションでした。
任意のキャラクターの性格を形作るためにプロンプトをJSON形式で与える、というのは個人的になかった発想だったので驚きました！
まさかの別の本題となる真の姿のスライドが接続されているという展開
AIを製品に使おうとしている方には学びが多い内容となっており、資料は必見です！
📄 資料URL
Speakerdeckの資料は真の姿のほうのスライドタイトルになっていますね
🎦 配信動画
30:02〜
吉田真吾 氏 (@yoshidashingo): RAGアプリにおけるプロンプトとtemperatureの応答品質への影響、ほんとのところ
わりとなんとなくで設定しがちなtempertureパラメータとプロンプトの組み合わせについて検証した結果についてをお話いただいたセッションとなります。
LLMでクールなものを作るのは簡単だが本番レベルのものを作るのは非常に難しい、というフレーズは「まさに」という感じです。
tempertureがレスポンスに与える影響としての情報。OpenAIを使用するに当たって、この情報を参照して使っている人も多いかと思いのではと思います。
振る舞いを指定する場合、指定しない場合、その際にtemprtureを与えるとどうなるか、英語プロンプトにするとどうなるかなどがセッション後半で展開されています。
結論としては、その目的に合わせたチューニング・多くのトライアンドエラーを経るのは不可欠という内容ですが、そこに至るためのテストの実施やエビデンスの保存など参考になる話型数です。セッション内容は是非動画も合わせてご覧ください。
📄 資料URL
🎦 配信動画
47:21〜 キャプチャボードとの相性が悪かったのか、何故か配信画面が黄みがかってしまっており申し訳ありません…
ちぇん 氏 (@yuno_miyako2): 自由記述の文章を 分析可能なデータにしたよ
LLM専門のアプリケーション会社を6月に設立したちぇんさん。セッションの内容は求人データを使用したリアルな年収を上げるためのスキルについての分析をするに当たって行ったこと。
…が、分析をしようにも世に存在する求人データはハチャメチャ自由記述な文章なのだった…！！！それを定形のデータに落とし込み、統計処理を行うためにはどのような方法を用いたのかをお話しいただきました。
Function CallingにChain Of ThoughtやFueShotを使うための実例など、よりLLMを実務でつっこんで使用する場合の参考になる内容が盛りだくさんでした。
AIプロンプトのリグレッションテストについて会場でヒアリングしてみた結果、テストを実施している人としていない人が半々ぐらい…？という感触でした。APIを使う場合はテストの実施にもそこそこ馬鹿にならないコストがかかるため、キャッシュを行うであるとか、細かい単位でコストを下げられるようにするとか、現在は知見の醸成を待っている期間といえるかもしれません。ちぇんさんのセッション内容を参考に是非取り組んでみたいところですね。
📄 資料URL
🎦 配信動画
1:00:05〜
田中正吾 氏 (@1ft_seabass): OpenAI 社 ChatGPT API に JSON データをお願いする試行錯誤とその先に見えたこと
装備品のHoloLensがデモンストレーションで活躍する、ビジュアル的な見ごたえ随一の田中さんのセッション。「視界を共有します」というSF漫画でしか聞いたことがないようなセリフが味わいを加速します。
内容はHoloLensに対して音声入力で自由な文章として与えた命令を、ChatGPTによってJSONに落とし込み命令として解釈させるというもの。
会場もYoutubeチャットも盛り上がったデモンストレーション
定形のJSONを確実に出す、ということは意外とハードルが高いことで知られていますが、Function Callingでこの壁を乗り越えられそうという目処がついており、実演で披露されました。
動画内では、Node-REDによるライブコーディングからのデモも行われています、見ごたえ抜群ですので是非Youtubeもあわせて御覧ください。
📄 資料URL
🎦 配信動画
1:07:05〜
しょーてぃー 氏 (@shoty_k2): "心の力" 124k
登壇者唯一のデザイナーのしょーてぃーさん、登壇資料のビジュアル・・・だけではなく内容のインパクトも非常に強いセッションでした。
インパクトの強さだけではなく、内容は非常にディープ＆ディープ。
ネーミングがイカレていますが、ChatGPT＋超大なプロンプトを用いて、人格再現したペルソナを作り出そうという壮大な話です。
人間とは一体・・・？人間らしさとは・・・？？？
何を言ってるんだ？？何を見せられているんだ？？？
びっくりするほど超大なプロンプト、そのチューニング過程、そしてシンジくんは・・・・・・・・それらはレポートブログでは到底まとめ切れませんので、是非動画で御覧ください。説明しようがない…なさ過ぎる…！
📄 資料URL
🎦 配信動画
1:30:17〜
イベントを振り返って
ご登壇・ご参加いただいた皆様のおかげで大変良いイベントとなったと感じています！！改めてありがとうございました！！
Youtubeでのライブ配信は今回始めての試みとなり、音声トラブルなど至らぬ点があり申し訳ありませんでした、次回に活かしてより良いイベントにして参ります:saluting_face:。ご視聴いただいた皆様・コメントをお寄せくださいました皆様もありがとうございました。
次回はVue.jsについての勉強会を開催予定です
弊社では月に一度のペースで勉強会を開催しています。
次回は社外の方もお招きしてVue.jsの勉強会予定です！！LTなどで登壇したいという方はTwitterのDMやリプライでご連絡ください！
株式会社アルゴリズムはエンジニア・デザイナーを募集中です
弊社ではエンジニア・デザイナーを募集中です！イベントを開催したり、新しい事業を提案して実際に開発に取り掛かったりできる、自分の可能性を試せる会社です！
上記の職種以外の方でも、ご興味があればそれもまた大歓迎です。是非会社ホームページ、もしくは直接安藤までお問い合わせください。
それではまた次回のイベントでお会いしましょう！！👋✨またね！！！
Discussion