Microsoft Ignite 2024 参加レポート

石塚　昴

2024/12/12に公開

 はじめに現地時間の11月19日から22日にかけて、シカゴで開催された Microsoft Ignite 2024 に参加しました。本記事では、会期中に注目したセッションの内容や感想を記載していきます。 AI関連のセッションを中心に参加しましたが、全体的に基調講演を含めて「AI」がメインテーマであることを強く感じました。特に「The era of AI」や「Agents」といったフレーズが至る所で聞かれるなど、AIの重要性が強調されていました。 なお、シカゴは日本に比べてかなり寒く、Ignite期間中には雪が降ることもありました。

 Azure AI Foundry unlocking the AI revolutionAzure AI Foundryについての説明でした。 Azureでは今後のAI活用の変化を以下のように捉えています。具体的には、単一のモデルからマルチモデルに、単一のPoCから汎用的なAgentアプリケーションに、断面的なROIから継続的な顧客体験の改善にAI活用が進化します。



そのような環境下でAIアプリケーションの設計・開発を包括的に支援するのがAzure AI Foundryです。Azure OpenAI Studioの後継サービスという印象です。デモではオンラインショッピングを対話で完結するAgentsが披露されました。AI Foundryを構成するサービス群について以下の説明がありました。
Azure Open AI Service
1800以上のモデルが利用可能で、NTT DATAが開発したモデルも追加予定です。
Generative query engine(Public Preview)：SLMによるクエリのrewritingが可能です。
Finetuning for Azure OpenAI Service(new)：モデルの蒸留とメトリクス、ビジョンモデルのファインチューニングが可能です。demoではPlayStationではなくXboxの話をするようにファインチューニングしてました。ユーザー仕様のLLMにカスタマイズするファインチューニングのdemoとして非常にわかりやすいものでした。また蒸留についてのdemoでは親LLMと子LLMとのSemantic Similarityをメトリクスとして学習を行っていました。

Azure AI Agent Service(今年度中に発表)
迅速にAgentを作成するためのツールです。
Azure AI Content Understanding：マルチモーダルAIで非構造データを活用することが可能です。

Azure AI Content Safety(General Available)
入力、出力などの複数の段階でコンテンツのフィルタリングが可能です。今後は画像のフィルタリングも対応予定です。


 Azure OpenAI: the latest innovation for AI powered business valueAzure OpenAI Serviceの概要とアップデートについての説明でした。
introduction

冒頭にNBAでのAzure OpenAI Serviceの活用事例（NBA Insight）が映像を交えて紹介されました。選手のパフォーマンスや統計についてGPTモデルを活用して分析しファンに提供するという内容で、選手のパフォーマンスをデータ化しGPTモデルを介して言語化して顧客に届けている興味深いユースケースだと思います。 本題のAzure OpenAI Serviceについてはinovation、Customization、Scale&Flexiilityに大別して説明がありました。
inovation

GPT-4oは回答速度、GPT-o1は回答精度に強みがあります。GPT-o1の回答生成速度が遅い原因は裏側で出力を評価しながら回答生成するためです。structured outputでは構造化した出力を生成できます。
Latest model & API features
structured output(General Available)
GPT-4o-Realtime-Preview(Public Preview)
predictive outputs

customization

画像のファインチューニングが可能となります。またWeights and Biasesとパートナーシップを締結したので便利に学習・評価が可能になります。
Distillation
Vision Fine-tuning
Model Fine-tuning
Azure AI Agent Service

scale & flexibility

Deploy方法の類型について説明がありました。
Azure OpenAI Service Data Zone
Azure OpenAI Service Batch


 Introducing Azure AI Foundry Agent Service to scale your AI agentsAzure AI Foundry Agent Serviceについての説明でした。 Azure AI Foundry Agent Serviceとはエージェントを迅速に開発することができるサービスであり、12月にPublic Previewとなります。エンタープライズ向けに設計されており、セキュリティも担保されており、モニタリングの機能も備えています。

他のフレームワークとの関係性としてはシングルエージェントの作成はAzure AI Foundry Agent Serviceを利用して迅速かつ安全に作成し、マルチエージェントを構築する際にはAutoGenやSemantic Kernelなどのフレームワークを利用してシングルエージェントを統合していくことを想定しているようです。


 Azure AI Search: RAG for better results, larger scale, faster answersAzure AI Searchについての説明でした。下画像がAzure AI Searchの検索方法の概要を示したものです。L0でクエリの整形、L1で検索による候補の生成、L3で候補のランキング生成、L4で回答生成です。L0とL2でアップデートがありました。

まずL2のSemantic Rankingについては精度改善、コンテキストウィンドウの拡大、応答速度の向上がアナウンスされました。
次にL0ではQuery Rewritingがアナウンスされました。Query RewritingとはSLMを用いてクエリを書き直すことで検索精度を向上させるものになります。
indexの作成についてもアップデートがありました。文書の構造を解析してchunckingしてくれます。また表や図なども扱うことができます。
費用対効果を高めるためにベクトル圧縮を活用することが提案されていました。具体的にはMatryoshka Representation Learning (MRL)と量子化です。前者についてはあまり馴染みがないので、もう少し調べてみたいと思います。
RAGの精度は検索機能の精度に依存しているので、Azure AI Searchのロジックやアップデートはこれからも追っていきたいと思います。

 Fine-tuning AI models with Azure OpenAI Service事前学習済みモデルの蒸留についての説明でした。事前学習済みモデルを蒸留することの目的はコストの節約とレイテンシの改善です。 Azure AI Foundryによるデモもありました。ファインチューニングのLabにも参加したのですが、クリック操作で簡単にファインチューニングと評価を実施することが可能で便利だと感じました。

 Lessons from Toyota for building durable multi-agent copilotsトヨタが開発したエージェントシステムについての説明でした。 社内には膨大な情報が存在し、各分野の専門家が散在しているという課題に対して、トヨタでは専門家が持つ知識をドキュメント化し、それぞれの分野に特化したスペシャリストの役割を持つエージェントを作成しています。それらのエージェントを集約したマルチエージェントシステムを構築し、さまざまな専門家と仮想的に議論できるようにすることで開発スピードを向上させていました。
システム構成は下画像です。各エージェントを非同期、並列に処理できるようにしていました。
情報や専門家が散在しており知識・知見の集約に時間がかかる点は大企業であれば大なり小なりどこの企業も抱えている課題だと思いますので、一つのソリューションを示した点で有意義なユースケースでした。

 How AT&T delivers RAG at scaleAT＆TのRAG活用ユースケースについて説明でした。 ユースケースは質問、コード、分類、データについての質問の４つのカテゴリーに大別しているようです。具体的なユースケースについてはコードのMigrationなど一般的な内容が多い印象でした。RAGについては下画像のように精度とレイテンシで評価しチューニングしています。
RAGで抽出したい内容は画像の中にあることも多いようです。マルチモーダルモデルによるEmbeddingはあまり精度が出ず、全ての写真の要約を抽出するようにすると精度が出たとのことでした。正直マルチモーダルモデルについては発展途上なのでこの評価で確定するのは危険ですが、参考になる情報だと思います。

 Interacting with multimodal Generative AI modelsさまざまな生成AIモデルをハンズオンで体験することができるLabでした。具体的には下記の機能についてAI Foundryのプレイグラウンドを利用して体験しました。個人的には４番目のGPT-4o-Realtimeによる音声対話がSpeak-to-Speakを実現しており感動しました。 - GPT-4oによるテキスト生成 - DALL-E3による画像生成 - GPT-4oによるマルチモーダルインプット - GPT-4o-Realtimeによる音声対話 - Azure AI Assistantsによるエージェント作成 プロンプトエンジニアリングのフレームワークやベストプラクティスの解説もあり勉強になりました。
下画像はシステムプロンプトのフレームワークです。
下画像は画像生成プロンプトのベストプラクティスです。

 Build intelligent Apps with Azure Functions and Azure OpenAIAzure Open AIを用いて生成AIを組み込んだサーバーレスアプリケーションを作成するハンズオンでした。アプリの機能としてはストレージにアップロードしたオーディオファイルをテキスト変換・要約しAzure Cosmos DBに格納するというものでした。アプリの構成としては下画像となります。 Azureのサービスを利用してアプリを作成するのは初めてでしたが、スムーズに開発することができました。（英語に不慣れなこともあり２回参加して完成しました、、）