Zenn
🚀

研究者と開発者の断絶による問題、それを乗り越える価値について

2024/12/21に公開
MLOps
LLMOps
aiガバナンス
tech

この記事は MLOps（LLMOps、生成AIOps） Advent Calendar 2024 12/23 の記事です。

はじめに

ここ最近3ヶ月は、今までにないような挑戦的な取り組みを行ってきました。この記事では解決したかった課題である「研究者と開発者の断絶による問題」について背景と取組の内容、今後の取組について述べます。

背景

AI に関する標準と法制度

近年、AIに関する標準の制定や法制度の整備が世界的に進んでいます。これは、AI技術の急速な発展と社会への浸透に伴い、その安全性や倫理性を確保するための重要な動きと言えるでしょう。具体的な例をいくつか挙げます。

これらの動きに加え、AIの認証に向けた議論も活発化しています。

AI事業者ガイドラインやそれによる影響については、以前に記事を公開しています。

AI 事業者ガイドラインの概要 - Citadel AI

これらの国際的な動向は、もはや避けて通れない流れとなっており、AIに関わる全ての人々が注視していく必要があると言えます。

日本における検討状況

2024年11月18日に開催された3rd Grand Canvas：AI品質の未来を共に描く～AI品質マネジメントネットワーキングシンポジウム～で、国内各団体におけるAI品質保証に関する検討状況を確認しました。各団体の状況は以下の通りです。

これらの状況から、認証制度の設立に向けた議論は進んでいるものの、各団体で公表されているドキュメントが実際に現場の実態に合っているかどうかは未検証であることが分かりました。また、団体の活動への参加者は主に研究者や有識者で占められており、開発者の参加は少ない状況です。

さらに、OpenAI API や Azure OpenAI Service Gemini API といったサービスを用いて開発している現場の取り組みがこれらの議論に自然に取り込まれるような仕組みになっていないという課題も明らかになりました。

このような状況は10月頭の時点で把握しており、強い焦燥感を覚えました。具体的には、以下のような懸念を感じました。

  • 現場の取り組みが反映されない場合、空虚な認証制度となるのではないか。
  • もし互換性が取れない場合、現場で培ってきた貴重な知見が無に帰してしまうのではないか。

このような危機感から、進めていた現場の知見をまとめる活動を本格的に進めることを決意しました。

活動: LLMOps の再定義

現場の知見をまとめる活動について、10月から11月の期間で取り組むことにしました。ターゲットとしたのは、2024年11月18日に開催される3rd Grand Canvas：AI品質の未来を共に描く～AI品質マネジメントネットワーキングシンポジウム～です。

活動方針

今回の活動の目標は次の3つです。

  • 世の中の知見をまとめ、フレームワークとして確立する
  • まとめたフレームワークを各団体に伝える
  • 産総研などの公的機関や、製造業系の大企業内の研究者、コンサルタントと開発者との交流を促進する

フレームワークの確立については、過去にMLOpsでさまざまな現場の取り組みを書籍にまとめることができた経験から、LLMでも同様のことが理論上は可能だと考えていました。しかし、問題は期間です。「事例でわかるMLOps」では2年の歳月を要しましたが、今回は同様のことをわずか1ヶ月で完遂しようとしていました。

まとめたフレームワークは各団体に伝えることを目指しました。公的な団体の中では AIQMI がもっとも参加しやすい (すでに参加していた) ため、この団体が主催するイベントをターゲットとしました。

しかし、不安も残ります。この取り組みは学術的なバックグラウンドを全く持っておらず、構造化されたアンケートのような科学的なアプローチを取っているわけでもありません。どの程度意見を聞き入れてもらえるかは不明瞭でした。

また、研究者との親和性も未知数です。Webサービスを展開する企業を中心とした、各組織の構成員とは全く異なる分野での取り組みをまとめたものであり、各組織とのつながりも薄いため、どの程度真剣に受け止めてもらえるのかは不透明でした。

最後に、「研究者やコンサルタントと開発者の交流」も目標としました。

そのようなコミュニティはすでに存在します。たとえば、私が運営として参加しているMLSEは、研究者と開発者が共に参加するコミュニティです。しかし、私が主催するWGは2025年7月で解散予定であり、MLOps や LLMOps といった現場のノウハウをボトムアップで体系化する活動を続けるためには、新たな取り組みが必要となっていました。

また、現状でも研究者や開発者、それぞれが集まる場所は存在しています。開発者が集う場所としてはmlopsコミュニティ、研究者はAIQMI、AISI、AIGAなどが挙げられます。しかし、互いに交流する機会は多くありません。そこで、AIQMIへの参加を呼びかけたり、研究者と開発者が共に参加するコミュニティを作ろうと考えました。

個人的な思い

正直なところ、「どうしてこうなった」と言わざるを得ません。

現場のベストプラクティスをまとめ上げてフレームワークにするというのは、個人の領域を超えていると感じていました。知人からは「それはクラウドサービスベンダーがまとめて公表するようなものではないか」と言われたほどです。

確かに、既存のLLMOpsに満足していなかったため、改めてまとめる良い機会ではありましたが、まとめたものを公表した場合に、世の中の合意を得られる自信はありませんでした。

また、公的機関に意見を届けるのも、民間の一個人の領域を超えていると感じていました。今回の活動は基本的には一個人の活動です。また、これまでのキャリアで公的な機関とのつながりは一切ありません。知人からは「それはデジタル庁などの公的機関の仕事ではないか」と言われました。

たまたま会社の活動範囲と一致するため、業務時間内で活動できたのは幸いでした。感謝します。

活動結果

目標としていた事柄は概ね達成できました。自身のMLOpsに関する書籍執筆経験や、これまでの活動を通じて得た人脈が大きな助けとなりました。関わっていただいたさまざまな方に感謝しています。

フレームワークの確立

開発者を中心としてさまざまな方にインタビューを実施しました。インタビュー対象者は、これまでの活動で知り合った方々や、Google Cloud Champion Innovator で知り合った方、10名弱の方々にご協力いただきました。

インタビュー結果をLLMOpsとして改めてまとめました。以下に資料を示します。

作成した資料は、さまざまな開発者向けイベントで発表し、概ね好評を得ました。以下は発表を行ったイベントと資料です。

フレームワークを各団体に伝達

作成したフレームワークは 3rd Grand Canvas でも発表し、参加者から好評を得ることができました。その後、AIQMIのWGで議論する機会を得て、概ね共通理解を得られるに至りました。これは、フレームワークの内容が現場の実情を反映したものとして受け入れられたことを示していると考えています。

一方で、AISIの方々にはまだ十分に伝達できていない状況です。今後の課題として、AISIへの情報共有と連携をどのように進めていくかを検討する必要があると考えています。

活動を通じてわかったこと

問題は単純に「コミュニケーション不足」や「ジェネレーションギャップ」でしかなかったことが、この活動を通じて明確になりました。

活動前は、公的機関や研究者とのコミュニケーションについて、正直なところ身構えていました。何らかの公的な身分や特別なコネクション、あるいは相応の研究成果が必要だと思い込んでいました。しかし、実際にコミュニケーションを取ってみると、彼らはかなりオープンであることがわかりました。

また、問題の構造も見えてきました。

国際的な問題: 標準化団体の高齢化

ISOなどの標準化団体では、高齢化が問題となっています。具体的には、ISOの標準化団体に参加している人が固定化しており、国際的に新規参入者が少ないという状況です。そのため、長年の活動を通じて参加メンバーが高齢化しているという事情を伺いました。

また、日本においては、かつて企業の研究所から標準化団体に参加するルートが存在していました。企業内の研究者が大企業の支援を受けてこれらの標準化団体に参加していたようです。しかし、バブル崩壊とともに企業の研究所が衰退し、そのルートが失われてしまいました。この結果、日本の開発者が標準化団体と関わるルートがなくなってしまったのです。

身の回りの問題: シャイなおじさんたち

今回の活動を通じて、産総研や企業内の研究者の人脈が開発者につながっていないという課題が浮き彫りになりました。

各団体にスタートアップや、ディープテックな企業が参加していないことは前述したとおりです。しかし、AIQMI などの暖大はスタートアップなどを除外して推進しようとしていたわけではなく、実際には「スタートアップにも参加してほしい」と考えていることが分かりました。

「取り組みを進めるための事例が足りてませんよね？」「参加者が10名に満たないのはエコシステムの検討にあたっては不足していますよね？」と発言してもあまり芳しい反応が得られなかったことがあります。それは、現状のまま推進することを望んでいたのではなく、現状を変えるための具体的な手段がなかったというのが実情でした。

表現を選ばずに言うのならば、AIQMIやAIGA、AISIといった団体の関係者が「シャイなおじさん」であったため、適切にスタートアップやディープテックな企業を巻き込めていなかったと言えます。

問題の解決は割とできる

今や問題の解決は幅広い方が取り組めるようになりました。

この活動で行った、フレームワークをまとめ提案することは、誰にでもできることではないと考えています。これは個人の能力を超えた部分があり、これまでの経験や人脈に大いに依存しているからです。

僕だからできたと言うよりは、たまたまできただけであると感じています。この活動にご協力いただいた方々には、改めて感謝申し上げます。

残っている課題は「研究者やコンサルタント、開発者の交流」です。しかし、これは少しの勇気があれば誰でも実行可能だとわかりました。自ら行動を起こし、積極的に情報発信や交流を行うことで、状況は確実に変化していくはずです。

今回の活動を通じて、得体のしれない大きな力に見える政治的な動きであったとしても、できることを行っていくことで状況を改善し、より良いものにしていくことが可能であることを実感しました。その力は今、すべてのAIに関わる開発者にあると信じます。

今後の展望

当初考えていた次の課題、すなわち「現場の取り組みが反映されない空虚な認証制度となるのではないか」「互換性が取れない場合、現場での知見が無に帰すのではないか」という懸念は、まだ完全に解決されたわけではありません。

しかし、今回の活動を通して状況は大きく変化しています。僕は AI に関わるすべての研究者、コンサルタント、そして開発者が、この状況を変える力を持っていると強く信じています。具体的には、これらの立場の人々が積極的に交流することで、状況は確実に良い方向へ変わっていくはずです。

そのために、今後イベントなどを開催していく予定です。ぜひ多くの方々に参加していただけると幸いです。

「AIをどう作るべきか」というガイドラインと、「AIをどう作ると良くなるのか」という現場のノウハウが一致し、より良い未来が実現することを心から祈っています。そして、その実現のために、今後も積極的に行動していこうと考えています。

Discussion