はじめに
皆さん、こんにちは。TRUSTART株式会社のプロダクトオペレーション部の神野です。
これまでマンパワーでオペレーションを回す、ということを続けてきましたが、最近では心強いメンバーに加わっていただき、オペレーションを標準化することに注力しています。
標準化の取り組みの中には、当然、オペレーションでの生成AIの組み込みも含まれています。
そんな中、先週に発売された LayerX CTO 松本勇気さんの著書 「生成AI『戦力化』の教科書」 を読み、これからのオペレーションにおける生成AI活用について深く考えさせられました。本書は、単なるAI技術の解説書ではなく、AIをいかにして現場の「戦力」として活用していくか、そのための実践的な考え方が詰まった一冊でした。
（ちなみに、LayerXさんのバクラク請求書発行のおかげで、月初の請求書対応時間が1/10に削減できました、リスペクトしているプロダクトです！！！）
この記事では、同書から得た学びを、オペレーションの現場にどのように活かせるか、僕なりの視点で整理し、共有したいと思います。
LLMには限界がある
LLMは万能ではありません。LLMには明確な「限界」があります。
- コンテキスト制限
- 一度に処理できる情報量に限りがあり、社内の膨大なマニュアルすべてを一度に理解することはできません。
- 確率的モデル
- 回答は確率に基づいているため、常に100%正確とは限りません。（いわゆるハルシネーション＝嘘をつく可能性があります）バージョンを固定していないと、次の日には別人になっていることもしばしば
- 知識の限界
- LLMは、一般的な知識は豊富ですが、専門的な知識が深くなっていくと適切な答えが返ってきにくくなります。
- 記憶の欠如
- 同一スレッドでない限り、LLMは記憶を保持していません。基本的に「その場限り」の対話であり、過去の対応履歴を勝手に覚えていてはくれません。
これらの限界、特に「社内の固有知識を知らない」という弱点を克服するために、知識をLLMに伝えるための基盤を整備する必要があります。
AIは「誰もが雇える大型の新入社員」
LLMは「誰もが雇える、素直で優秀な大型の新入社員」です。
この「新人AI」は非常に優秀ですが、当然ながら現場のことは何も知りません。この新人に「戦力」になってもらうためには、現場の知識、すなわち 「オペレーションの核となるナレッジ」 を教え込む必要があります。
そこで、社内に蓄積されているマニュアル、ログ、メッセージなどの 非構造化データ を整理して情報を扱いやすくすることが必要です。
これらは、ベテランの頭の中や、Slackなどの過去のメッセージ履歴など、奥深くに眠っていた「属人化された知識」そのものです。
そういった知識を「新人AI」に渡すことで、これらのナレッジを即座に参照し、長年在籍していたかのように的確な回答を生成できます。
これにより、「Aさんしか知らない特殊対応」といった属人化が解消され、新人でも対応品質を平準化し、対応スピードを向上させることが可能になります。
ナレッジを蓄積するためには、非構造化データにうまくアクセスできる仕組みが必要です。
- 言葉で検索すること
- メタデータを付与すること
上記2点を備え、ファイルを常に分析・検索可能にするためのライフサイクルを支える仕組み、ナレッジベースを構築することが大切です。
大量のデータを扱う場合は、 チャンク（塊）に分割（=チャンキング） し、データの関連性がわかるナレッジグラフを構築することが大切です。
AI時代のオペレーション担当者の役割
オペレーションでは、過去の判断やルールを参照しながら、一貫した処理を行うこと が必要です。
ただし、LLMには「ハルシネーション（もっともらしい嘘をつく）」という限界が常につきまといます。
そのため、人間が最終的に確認、責任を持つプロセスを設計することが大事です。
大量の書類から、必要な情報を抜き出す、というタスクの場合は、
- 「書類のどの部分に着目しているか」
- 「どのような基準で、どの情報を抜き出しているか」
- 「どのような方法で検証しているか」
- 「どのようなフォーマットでまとめる必要があるのか」
等のルールや判断を明示的にすることが大切です。
僕が最も大切だなと思ったことは、「参照元をAIに出力させる」ことです。
LLMは100%ではないからこそ、参照元を出力させることで、効率よくフィードバックを行える仕組みを構築できます。
弊チームでも、LLMに参照元を明示させることを行なっていることもあれば、行なっていない部分もありましたが、標準的に参照元を明示させた上で、最終的にアウトプットの確認を行う、というのを原則でやっていきたいと思います。
- AIを「一次レビュワー」として活用する
- 人間が品質を担保する必要があるため、AIや担当者がアウトプットを出しても、最終的には「レビュー」がつきまといます。そこでAIを「一次レビュワー」で活用することで、AIや担当者とのやりとり回数を減らすことができ、全体的な生産性をあげることができます。
弊システム開発チームでは、Geminiによるプルリクエストの一次レビューを原則としており、これまで細やかなtypoや、物理名の指摘なども人間がレビューすることを行なっていましたが、そういったレビューはAIで代替ができるようになっています。
- 人間の「最終判断」をAIにフィードバックする
- 僕たちが人間がAIの回答案を修正し、「最終的な正しい判断（対応）」を行ったら、その内容を必ずナレッジベースに還元することが大切です。
そして、AIによって生み出された時間で、僕たちはオペレーションの「品質管理」や「業務設計・改善」といった、より上流の戦略的な仕事に集中できるようになるはずです。
弊社でも実際に開示請求を行う業務の中でAIを組み合わせてオペレーション構築を行っています。
実際に、棚卸しの際に収入印紙が一致しないというエラーが劇的に解消されました。
詳しくはこちら▼
終わりに
「生成AI『戦力化』の教科書」を、僕たちのオペレーションの現場に引き寄せて読み解いてみると、人間を組み合わせて最適にオペレーションを構築する、ことが本質的であることを感じることができました！
TRUSTART株式会社は、一緒に働くメンバーを募集しています！
インターンメンバーも大募集中です！
興味を持っていただいた方は、ぜひ弊社のページをご確認ください！！！
告知
不動産関連資料取得代行サービス「R.E.ASSIST」がPoCでサービス提供中です！
役所の不動産関連資料（不動産謄本、道路台帳、ハザードマップなど）を最短即日で取得代行するサービスです！不動産事業者や金融機関のコア業務への集中を支援いたします！
お問い合わせはこちら
リリースはこちら
「人とデータで全てを可能にする」 不動産領域に関連する、あらゆるビジネスのDX化にチャレンジし、「テクノロジー×人」の力で社会課題を解決するTRUSTART株式会社のテックブログです！ 採用情報はこちら：trustart.co.jp/recruit/
Discussion