[Ignite 2023] Azure AI アップデートまとめ

はじめに

Microsoft Ignite 2023でのAzure AIのアップデートをまとめました。
まずは下記ブログの翻訳を中心にしています（ほぼ翻訳です）。

• Ignite 2023: What’s new in Azure AI Platforms – Charting the Future with Innovative AI and ML - Microsoft Community Hub

主要なアップデート

Azure AI Studioのパブリックプレビュー

サティヤ・ナデラの基調講演で、Azure AI Studioのパブリックプレビューが発表されました。これは、生成型AIアプリケーションとコパイロット開発を簡素化する最先端のプラットフォームです。Azure AI Studioは、急速に成長しているモデルカタログ、ツール、サービスをシームレスに統合し、統一された開発体験を提供することで、Azure AIポートフォリオの基盤となるものです。Azure AI Studioは、開発者に必要な全ての要素、最新モデルからデータ管理システムまでが統合され、利用可能な直感的でユーザーフレンドリーなAI環境に向けた大きな一歩です。AI開発者や機械学習の専門家は、Azure AI Studioの直感的なインターフェース、コマンドラインインターフェース（CLI）、ソフトウェア開発キット（SDK）を使って旅を始め、より細かいコントロールや高度なモデル監視が可能なAzure Machine Learningへスムーズに移行できます。このブログで発表についてさらに詳しく学びましょう。

Prompt Flowの一般提供

Prompt flowは、Azure Machine Learningで一般提供され、Azure AI Studioでパブリックプレビューされています。これは、企業規模のLLMOps向けに設計されたツールで、バージョン管理や任意のソースコード管理ツールを通じたコラボレーションをサポートします。コミュニティからの貴重なフィードバックにより、5月の初期導入以来、多くの機能がPrompt Flowに追加されました。Prompt flowでは、プロンプト、コード、設定、環境などのフロー資産の異なるバージョンをコードリポジトリを通じて管理し、変更を簡単に追跡し、必要に応じて以前のバージョンに戻すことができます。CI/CDパイプラインとの統合は、接続設定、プロンプトチューニング、フロー評価、実験などのタスクを自動化し、プロセスを簡素化します。Prompt flowは、LLMフローを品質と安全性で評価しやすくするため、組織はより高い信頼を持ってアプリケーションを本番環境に導入できます。この詳細なブログで、Prompt flowの最新機能についてさらに学びましょう。

Azure Machine LearningのデータストアとしてのOneLakeのパブリックプレビュー

Microsoft FabricのOneLakeは、Azure Machine Learningとシームレスに統合された変革的なデータレイクハウスプラットフォームです。Igniteで、Azure Machine LearningとのOneLake統合のパブリックプレビューが発表されました。OneLakeは、大規模で多様なデータセットを統一的かつ効率的に処理する独自の能力により、AIのためのデータストレージと取得を最適化し、AIモデルの開発と展開を加速します。これは、高ボリュームのデータ処理と複雑な計算タスクを要求するシナリオ、つまり先進的なAIやMLプロジェクトで一般的なものに特に関連しています。Microsoft Fabricの重要な構成要素としてのOneLakeは、強力なデータレイクハウスアーキテクチャを提供し、Azure Machine Learningのデータ管理機能を大幅に強化します。このFabric内での統合は、高度なデータ統合機能を提供し、複雑なAIおよびMLデータセットの処理と管理における重要な進歩を示しています。このブログで、OneLakeとの統合についてさらに詳しく学びましょう。

Azure AIのモデルカタログの一般提供が間近

Azure AIモデルカタログは、間もなく一般提供される予定で、業界をリードするプロバイダーからの新しい、多様な、最先端のAIモデルが含まれることで、エキサイティングな拡張を経験しています。この拡張には、Mistral 7B、Microsoft ResearchのPhi、Stable Diffusion、MetaのCode Llama、NVIDIAの最新モデル など、重要な追加が含まれています。それぞれのモデルは、開発者にプロジェクトに対する幅広い選択肢を提供するユニークな能力を持っています。また、Llama 2、CohereのCommand、G42のJaisモデル、Mistralのプレミアムモデルを推論APIとホストされたファインチューニングを通じて提供するModel-as-a-Service（MaaS）のプレビューも発表されました。MaaSは、特に開発テストフェーズ中に、モデルホスティング用の専用VMが不要となるため、開発者のプロセスを簡素化します。推論APIのコスト効率の高いトークンベースの課金により、MaaSは生成型AIプロジェクトにとって魅力的で容易なスタートオプションを提供します。モデルカタログの新しいモデルを探索し、このブログでMaaSについてさらに詳しく学びましょう。

モデルベンチマークのパブリックプレビュー

Azure Machine LearningおよびAzure AI Studioで公開されているモデルベンチマーク機能は、さまざまなファウンデーションモデルの性能を評価し比較するための重要なツールです。この機能は、精度の指標に基づいて利用者が情報に基づいた決定を下すのを助けることで、モデル選択プロセスを簡素化し、特定のプロジェクトニーズに合わせてAIソリューションのパフォーマンスを最適化できるようにします。ベンチマークプロセス自体は堅牢で透明です。それはAzure AIモデルカタログからの基本モデル、公開データセット、そして評価のためのメトリックスコアを使用します。使用されるデータセットは、ベンチマークの整合性と関連性を保証するために、信頼できるリポジトリから取得されます。各モデルは、業界のベストプラクティスに従って設計されたプロンプトを使用して評価され、比較が公平で意味のあるものであることを確保します。モデルベンチマークについてもっと知りたい方は、このアナウンスメントブログを読んでください。

マネージド機能ストアの一般提供

マネージド機能ストアは、機械学習の専門家が独立して機能を開発し、本番環境に移行することを可能にします。Azure Machine Learningにおけるマネージド機能ストアの一般提供を発表できることに興奮しています。機械学習の専門家は、機能セットの仕様を提供するだけで、そのシステムが機能の提供、セキュリティ、および監視を処理し、基盤となる機能エンジニアリングパイプラインの設定と管理のオーバーヘッドから解放されます。機械学習ライフサイクル全体にわたるこの統合は、モデルの実験を加速し、モデルの信頼性を向上させ、運用コストを削減し、MLOps体験を大幅に簡素化します。このドキュメントで、マネージド機能ストアの新機能について詳しく探りましょう。

バッチエンドポイント用のパイプラインコンポーネントデプロイメントの一般提供

バッチエンドポイント用のパイプラインコンポーネントデプロイメントの導入は、MLOps機能の進化を示しています。この機能により、機械学習パイプラインを単一のユニットとして異なる環境間で移動し、制御することが容易になります。これは、MLパイプラインを管理する上での重要な進歩を表し、組織内でより効果的で効率的なオペレーションを実現します。このブログを読むことで、パイプラインコンポーネントデプロイメントについてもっと学ぶことができます。

サーバーレスコンピュートの一般提供

現在一般に提供されているAzure Machine Learningのサーバーレスコンピュートにより、機械学習の専門家は、コンピュートインフラの複雑さに深入りすることなく、MLモデルの作成に集中できます。これは、ジョブの提出を簡素化し、リソースを動的に割り当て、生成AIタスクを含むすべてのAzure Machine Learningジョブタイプをサポートします。サーバーレスコンピュートは、管理されたネットワーク分離と厳格なセキュリティプロトコルによる管理負荷の軽減だけでなく、コストの最適化と待ち時間の短縮も提供し、機械学習の専門家がプロジェクトにおける効率と集中力を高めることができます。この機能についてもっと知るために、このアナウンスメントを読んでください。