やること
AI-900の受験の際に、勉強した際のメモです。
以下の範囲のLearnを対象としてます。
テキスト分析の概要
| 機能 | 説明 |
|---|---|
| トークン化（Tokenization） | テキストを解析可能な単位に分割するプロセス。単語や句読点の組み合わせなど、テキストの部分をトークンとして表現する。 |
| 頻度分析 | テキスト内の各トークンの出現回数を数えるプロセス。一般的なトークンはテキストの主題を反映し、重要な情報源となる。 |
| テキスト分類のための機械学習 | テキストを既知のカテゴリに分類するために機械学習アルゴリズムを使用するプロセス。テキストの特徴を抽出し、それを元にしてテキストをカテゴリに割り当てる。 |
| セマンティック言語モデル | 言語トークンの埋め込みベクトルを使用して、トークン間の意味的関係を捉えるモデル。トークンの意味的類似性を抽出し、それを元にしてテキストの意味解析や関連性推論を行う。 |
Azure AI Language
非構造化テキストに対して高度な自然言語処理を実行できる Azure AI サービス内容の一部です。 Azure AI Language のテキスト分析機能には、次のものが含まれています。
| 機能 | 説明 |
|---|---|
| 名前付きエンティティ認識 | 人、場所、イベントなどの特定のものをテキストから見つけ出す。必要に応じて、カスタムなカテゴリを定義して、特定の種類のエンティティを抽出することが可能。 |
| エンティティ リンク | テキスト内の既知のエンティティを識別し、それに関連する情報やWikipediaなどの外部リンクを提供する。 |
| 個人を特定できる情報 (PII) の検出 | 個人の機密情報、例えば個人の健康情報 (PHI) などをテキストから見つけ出す。 |
| 言語検出 | テキストがどの言語で書かれているかを特定し、言語コードを返す。 |
| 感情分析とオピニオン マイニング | テキストがポジティブかネガティブかを判断し、その感情を識別する。 |
| 要約 | テキスト内の主要な情報を抽出し、テキストを短く要約する。 |
| キー フレーズ抽出 | 非構造化テキストから主要な概念や重要なフレーズを抽出し、一覧表示する。 |
主要な概念
会話言語理解には、"発話"、"エンティティ"、"意図" という 3 つの主要な概念がある。
発話 (Utterance)
・ユーザーが発話したテキストや音声のことです。
・発話は会話の単位であり、システムが解釈する対象です。
・ユーザーからの質問や指示、コメントなどが発話として扱われます。
エンティティ (Entity)
・テキストや音声から抽出された特定の情報の要素です。
・例えば、人の名前、場所、日付、数量などがエンティティとして考えられます。
・エンティティは発話から抽出され、その情報に基づいて処理や応答が行われます。
意図 (Intent)
・ユーザーが発話した内容の主な目的や意図です。
・発話が何を意味しているのか、何を求めているのかを把握するために重要です。
・例えば、ユーザーが予約をしたいと伝えている場合、その意図は「予約する」となります。
・意図はエンティティと共に、システムが適切な応答やアクションを決定する際に使用されます。
Azure Bot Service
Azure上でボットを開発、公開、管理するためのフレームワークです。主に2つのコアサービス、Azure AI LanguageとAzure AI Bot Serviceを組み合わせて使用することで、ユーザーサポートボットソリューションを簡単に作成できます。
-
Azure AI Language
カスタム質問応答機能を提供します。
自然言語での入力を受け付け、質問と回答のペアで構成されるナレッジベースを作成できます。
ユーザーが発話した内容を理解し、適切な応答を返すために利用されます。 -
Azure AI Bot Service
Azureでボットを開発、公開、管理するためのフレームワークを提供します。
ボットの作成、デプロイメント、およびモニタリングを行うためのツールやリソースを提供します。
ボットの機能を拡張し、ユーザーエクスペリエンスを向上させるために利用されます。
これらのサービスを組み合わせることで、自然言語処理とボット開発の能力を活用し、効率的かつ柔軟なユーザーサポートソリューションを実現することができます。
Azure AI Speech
音声認識と音声合成を使って音声テキスト変換とテキスト読み上げの機能を提供します。 高い精度での音声からテキストへの文字起こしから、会話での話者の識別や、カスタム音声の作成まで、Azure Cognitive Service for Speech サービスの事前構築済みとカスタムのモデルを、さまざまなタスクに使用できます。
音声認識
音声を受け取り、通常はテキストに変換します。これにより、音声データを処理できる形式に変換されます。音声認識では、音声パターンがオーディオで分析され、オーディオ信号を音素に変換する「音響モデル」と、音素を単語にマップする「言語モデル」が使用されます。認識されたテキストは、さまざまな目的に使用されます。例えば、動画のクローズドキャプションの提供や、音声テキストの作成、自動ディクテーションなどです。
音声合成
テキストを音声に変換する技術です。音声合成には、読み上げるテキストと、音声化に使用される音声が必要です。通常、テキストは単語にトークン化され、それぞれに音声が割り当てられます。そして、音素に分割され、オーディオ形式に変換されます。音声合成の出力は、音声応答の生成や音声メニューの作成、テキストの読み上げなど、さまざまな目的で使用されます。
Discussion