Introduction to Generative AI and Large Language Models (翻訳)

Generative AI is artificial intelligence capable of generating text, images and other types of content. What makes it a fantastic technology is that it democratizes AI, anyone can use it with as little as a text prompt, a sentence written in a natural language. There's no need for you to learn a language like Java or SQL to accomplish something worthwhile, all you need is to use your language, state what you want and out comes a suggestion from an AI model. The applications and impact for this is huge, you write or understand reports, write applications and much more, all in seconds.

In this curriculum, we’ll explore how our startup leverages generative AI to unlock new scenarios in the education world and how we address the inevitable challenges associated with the social implications of its application and the technology limitations.

ジェネレーティブAIは、テキスト、画像、その他のコンテンツを生成する人工知能です。この素晴らしい技術の特徴は、AIを民主化することです。テキストプロンプト、自然言語で書かれた文章さえあれば、誰でもそれを使用できます。JavaやSQLのような言語を学ぶ必要はありません。何か価値あることを達成するために必要なのは、自分の言語を使い、何をしたいかを述べることだけです。AIモデルから提案が出てきます。これには大きな応用と影響があり、レポートを書いたり理解したり、アプリケーションを作成したりするなど、すべてが数秒で行えます。

このカリキュラムでは、私たちのスタートアップが教育分野でジェネレーティブAIを活用して新しいシナリオを開拓し、その適用に伴う社会的な影響と技術の制約にどのように対処しているかを探求します。

Introduction

このレッスンでは、以下の内容をカバーします：

ビジネスシナリオの紹介：私たちのスタートアップのアイデアとミッション。
ジェネレーティブAIと現在のテクノロジーランドスケープへの取り組み方。
大規模言語モデルの内部動作。
大規模言語モデルの主な機能と実用事例。

ジェネレーティブAIはどのようにして実現されたのでしょうか？

最近のジェネレーティブAIモデルの発表によって生まれた驚異的な期待にもかかわらず、この技術は数十年前から研究が行われており、最初の研究の試みは1960年代にさかのぼります。今では、人間の認知能力を持つAIの段階に達しており、OpenAI ChatGPTやBing Chatなどが示すように、会話などの能力を持っています。Bing Conversationsでは、Web検索のためにGPTモデルを使用しています。

少し遡って、最初のAIのプロトタイプはタイプライターで書かれたチャットボットから成り立っており、専門家の知識ベースから抽出された情報がコンピュータに表現されていました。知識ベース内の回答は、入力テキストに現れるキーワードによってトリガーされました。しかし、そのようなアプローチ、つまりタイプライターで書かれたチャットボットを使用する方法は、うまくスケーリングしないことが明らかになりました。

AIにおける統計的アプローチ：機械学習
90年代には、テキスト分析に統計的アプローチを適用することで転機が訪れました。これにより、新しいアルゴリズムの開発が可能となりました。これらのアルゴリズムは「機械学習」として知られ、データからパターンを学習し、明示的にプログラムされなくても動作します。このアプローチにより、機械は人間の言語理解をシミュレートすることができます。統計モデルはテキストとラベルのペアにトレーニングされ、未知の入力テキストを事前に定義されたメッセージの意図を表すラベルで分類することができるようになります。

ニューラルネットワークと現代のバーチャルアシスタント
より最近では、大量のデータとより複雑な計算を処理できるハードウェアの技術進化が、AI分野の研究を奨励し、ニューラルネットワークやディープラーニングアルゴリズムと呼ばれる高度な機械学習アルゴリズムの開発につながりました。

ニューラルネットワーク（特にリカレントニューラルネットワーク、RNN）は、自然言語処理を大幅に向上させ、文中の単語の文脈をより意味のある方法で表現できるようにしました。

これが、新しい世紀の最初の10年に生まれたバーチャルアシスタントを駆動する技術であり、人間の言語を解釈し、ニーズを特定し、それを満たすためのアクションを実行するのに非常に優れています。例えば、事前に定義されたスクリプトで回答したり、第三者のサービスを利用したりすることができます。

こうして私たちは、現在のジェネレーティブAIに至りました。これはディープラーニングのサブセットと見なされることがあります。

AI分野で数十年にわたる研究の後、新しいモデルアーキテクチャである「Transformer（トランスフォーマー）」が、RNNの制限を克服し、はるかに長いテキストシーケンスを入力として扱うことができるようになりました。トランスフォーマーは注意機構に基づいており、モデルが受け取る入力に異なる重みを付けることができ、テキストシーケンス内の順序に関係なく、最も関連性の高い情報が集中している場所に「より多くの注意」を払うことができます。

最近のジェネレーティブAIモデル、またはLarge Language Models（LLMs）のほとんどは、テキストの入力と出力を扱うため、実際にはこのアーキテクチャに基づいています。これらのモデルは、書籍、記事、ウェブサイトなど多様なソースから収集された大量の未ラベルデータでトレーニングされており、さまざまなタスクに適応し、文法的に正しいテキストを創造性を持って生成することができるのが特徴です。したがって、これらのモデルは機械が入力テキストを「理解」する能力を驚くほど向上させるだけでなく、人間の言語でオリジナルな応答を生成する能力を可能にしました。