Zenn
株式会社ナレッジワークPublicationへの投稿
🏙️

Encraft #11 「LLMとエンタープライズの距離感」 開催レポート

ざわきん/zawakin
2024/03/01に公開
#
LLM
#
encraft
#
knowledgework
tech

株式会社ナレッジワークのソフトウェアエンジニアのzawakinです。
本記事では2024年2月28日に開催した勉強会 Encraft #11 LLMとエンタープライズの距離感 の開催レポートをお届けいたします。

Encraftとは？

Encraft（エンクラフト）は株式会社ナレッジワークが提供する、 "Enablement" と "Craftsmanship" をテーマにした勉強会です。技術にこだわりを持つ人々が集まって互いに知見を交換し、できることを増やしていく場を作りたいと思っています。
過去のイベントの開催レポートは以下からご覧ください。

オフラインで参加することが難しい方などに向けて、今回も YouTube での Live 配信も行いました。
また、感想をハッシュタグ #encraft でつぶやいていただけると嬉しいです。

テーマ「LLMとエンタープライズの距離感」

第11回のEncraftとなる今回は、「LLMとエンタープライズの距離感」をテーマに、大規模言語モデル（LLM）の技術的な魅力と、実際のビジネス環境での応用における課題とのバランスを探るためのパネルディスカッション を行いました。

  • セキュリティ
  • データプライバシー
  • ユーザー価値の提供
  • 組織構造

など、LLMをはじめとしたAI活用において実際に直面する問題への取り組み方にフォーカスします。

登壇者

  • 【ゲスト】 エムスリー株式会社 VPoE - @ばんくし さん
  • 株式会社ナレッジワーク AIエンジニア - @sho-chan
  • 株式会社ナレッジワーク AIエンジニア - @notogawa （司会）

イベントの様子

パネルディスカッション

  • エムスリー株式会社：医療従事者への支援
  • 株式会社ナレッジワーク：主にエンプラ企業に向けた営業支援（イネーブルメント事業のうちの一つ）

異なる業界である医療と営業においてそれら従事者支援と通底する部分がある事業を展開している両社、発展著しいLLMを活用する際には、共通して直面する課題があるかと思います。

  • 徹底したセキュリティ：医療データや企業情報の取り扱い
  • 厳しいプライバシー要求：個人情報の取り扱い
  • 高いユーザー価値の提供：医療従事者や営業担当者の業務効率化

LLMの活用に際し直面するこれらの課題に対しディスカッションを通して、赤裸々な意見交換を行いました。

トークテーマ

以下のトークテーマについて、それぞれの立場からの意見交換を行いました。

  • 普段の業務におけるLLMやその周辺技術との関わり方は？
  • エンタープライズに固有のAI開発の難しさはどういったところにある？
  • 閲覧権限やハルシネーションへの対処は総合的にどうしている？
  • セキュリティ上の懸念を持たれる可能性への対処をどうしている？
  • AI開発を前提にした事業・プロダクト・組織に、「こうあるべき」はある？
  • 今後どういう方向に発展していくことが期待できそうか？

いくつかのトークテーマについての議論を抜粋していきます。

Q. エンタープライズに固有のAI開発の難しさはどういったところにある？

（ばんくしさん）

  • 「機械学習(ML)そのものが価値になるプロダクトを作るのは難しい」
  • 「ものを作らない」
    • まず、人間の手でデータを使ってエクセルで並べ替えたり、そのモデルの 上限 を示し、それを提示して、どのくらい価値があるか検証する
    • エンジニアでさえやる
  • まず一回、頑張ったらここまでできますが、どうですか、とお客さんに当てる

（sho-chanさん）

ビジネス上培われたハイコンテキストな業務から、一般知識から実行できるタスクや、明示的に切り出した情報から処理できるタスクを切り出すこと。

Q. 閲覧権限やハルシネーションへの対処は総合的にどうしている？

LLMを使う上で、閲覧権限といった顧客データの扱いや、嘘をついてしまう「ハルシネーション問題」に対する対策について、議論がありました。

（sho-chanさん）

ハルシネーションはLLMに自問・再チェックを行わせたり根拠を挙げさせて、人間が精査できるようにする。
QAチャットではユーザーの権限とユーザーが利用するRAGのアクセスするデータの権限が一致するようにする。

（ばんくしさん）

  • お客さんが感じる「リスク」には2種類ある

    • 「なんとなく怖い」場合
      • 圧倒的な価値を提供することで不安や懸念を消す
    • 「慎重に扱う必要がある」場合
      • しっかり議論・設計し、役員決裁まで持っていく

  • 自分たちの世界観が反映されているデータを作る

「世界観」が反映されたデータを作る

cotomo のように、「世界観」があると、必ずしも100%正確な出力がなくても良いし、それでもユーザーの期待に応えることができる。

LLMの力を社会に活かしていくには、「精度を上げる」だけでなく、「世界観」を作ることも重要になる。

違和感がある返答が少しあっても、それが「気にならない」世界観に持っていければ良い

Q. AI開発を前提にした事業・プロダクト・組織に、「こうあるべき」はある？

「売れるデータを集める、売れるものを作る」

  • 売れることを検証する
  • データを集める話。
    • 売れるデータを集める
    • データを集めれば良いものができるという信仰をやめる
      • ログをN年分あってもしょうがない
    • メモリに制約がある
      • LLMで無限長コンテキストがどうのこうのとかはあるけど、結局全部価値にするのは難しい

まとめ

登壇者のばんくしさんとsho-chanさんとnotogawaさんによって、およそ1時間半に渡り、LLMを本質的に活用する上での課題や、それに対する取り組み方について、非常に深い議論が行われました。

個人的には、ばんくしさんの

  • 「自分たちの『世界観』が反映されているデータを作る」
  • 「売れるデータを集める、売れるものを作る」

という2つの発言が印象的でした。

今回参加できなかった皆様も、アーカイブ配信を視聴できますので、アーカイブをとおして、ご自身のEnablementに繋がれば幸いです。

アーカイブ配信はこちらになります。↓

https://www.youtube.com/watch?v=WmtPHpzgQz0

Triple-WIN アンケート

Encraft では、参加者のアンケート回答に連動してナレッジワーク社が OSS プロジェクトに寄付をする試みを行っております。参加者の1回答当たり8ドルをナレッジワークが OSS に寄付することで、参加者と OSS プロジェクトをナレッジワーク社が繋ぐ仕組みです。
今回は11名の方がアンケートに回答してくださり、88ドル を GitHub Sponsors 経由で sudachi プロジェクトに寄付いたしました。
オフライン・オンライン問わず、ご回答いただいた皆様、ありがとうございました！

開催の様子

次回予告

次回については鋭意検討中です。確定次第、情報を更新します。

Encraft は今後も定期的に学びと交流の場として開催を予定しています！

Connpass でグループメンバーになっていただけると開催通知メールが送られますので、開催を知りたい方は以下より是非グループメンバー登録をよろしくお願いします。

https://knowledgework.connpass.com/

セッションをオンラインでご覧いただいた方も、感想などハッシュタグ#encraftでツイートしていただけたら嬉しいです！

それでは、また次のEncraftでお会いしましょう！

株式会社ナレッジワーク
株式会社ナレッジワークPublication

株式会社ナレッジワークの開発者（エンジニア、デザイナー、PdM）向けの記事やEncraftという開発者向けイベントの開催レポートなどを公開しています。 イベント：http://knowledgework.connpass.com コーポレートX：@kworkcom

Discussion