『生成AI(LLM)を活用したプロダクト開発について』のLT内容メモ📝
まさぴょん🐱ざっくり生成AIって何だろう？
引用元：https://www.ai-souken.com/article/ai-generation-history
ざっくり歴史📝
- 1960年-1974年：第1次AI（人工知能）ブーム～推論と探索～
- 第1次AIブームの中心は「推論」と「探索」
- パターン分けの作業 -> 探索技術
- 対話できる自然言語処理プログラム「イライザ」が誕生 (Siriの起源)
- 第1次AIブームの中心は「推論」と「探索」
- 1980年-1987年：第2次AIブーム（知識を蓄積したエキスパートシステム）
- ルールベースなAI
- ルールを教え込む必要があった📝
- 例外処理や矛盾したルールに対応できない。
- ルールベースなAI
- 1993年-2022年：第3次AIブーム（機械学習と深層学習）
- 機械学習：機械が膨大な量のデータを学習することによって自らルールを学習し、そのルールに則った予測や判断を実現する。
- 特に近年のハードウェア性能向上と大規模データの活用により、画像認識・音声認識・自然言語処理など多くのタスクで高い性能を示すようになりました。
- 2023-現在：生成AIブーム？
- 加速度的に、生成モデルが開発されている状況🔥
AI(人工知能)を学ぶためのロードマップ by 松尾研📝
まさぴょん🐱LLMについて📝
LLMは「Large Language Model（大規模言語モデル）」 の略。
膨大なテキストデータを学習して、人間のように文章を生成したり、質問に答えたり、コードを補完することができるAIモデルです。
テキストを理解し、文章を生成するための AIモデルそのもの
例：GPT-4、Claude、Gemini など
LLMのすごいところ！
- 大規模学習データを活用した多様な知識・文脈理解 (自然言語理解と生成能力)
- LLMはインターネット上をはじめとした膨大なテキストデータを学習しています。豊富な知識 を持ち合わせている。
- 多種多様な文脈や文体を把握し、場面に応じた生成が可能。
という特徴があります。
- 高性能な自然言語生成と、柔軟にタスクを切り替える汎用性！
- ゼロショットや Fewショット学習を活用した タスク適応能力📝
などなど、これまで実現が困難だった自然言語処理のレベルを飛躍的に向上させている点にあります💪
LLM の問題点である「不確実性」
- 100%じゃなくていいことに、生成AIは使おう！！
- 最後に責任は人間が取らならなきゃいけない！！
- 何かの補助として活用するのがBest📝
- 成果物に対する責任は、しっかり人間が取る必要がある💪
ドメイン特化型LLMを作ろうぜという潮流🌊
LLMだけでない！SLMの未来！！
SLM (Small Language Model, 小規模言語モデル)
SLMはその名前の通り、LLMよりも比較的小さなパラメータ数のモデルに対する総称
SLMが発展すると、AIモデルをローカルのハードウェアに組み込みする潮流が出てくると予想される📝
まさぴょん🐱独自LLM / ファインチューニング / RAG 📝
引用元: https://news.mynavi.jp/techplus/article/20240528-2953862/
蒸留・転移学習について📝
まさぴょん🐱プロンプトについて📝
-
User Prompt： Userが入力するプロンプト
-
System Prompt：System提供側が設定するプロンプト
OpenAI API 利用のQuickstart by TypeScript で確認すると👀
import OpenAI from "openai";
const openai = new OpenAI();
const completion = await openai.chat.completions.create({
model: "gpt-4o-mini", // 使用するGPTモデルを指定
messages: [
// System Prompt：AIの振る舞いや役割を指定する。
{ role: "system", content: "あなたは、ねこ🐱を愛するAI Agent" },
// User Propmt：実際にユーザーからのリクエストが格納される。
{
role: "user",
content: "ねこに関する俳句を作ってください！,
},
],
store: true, // セッションやログを保存する設定
});
console.log(completion.choices[0].message);
よく使用されるプロンプトテクニックの事例📝
ゼロショット・プロンプト📝
ゼロショットプロンプトとは、事前情報や例を示さずに質問や指示を行うプロンプトの型です。
つまり、シンプルに学習済み言語AI ModelであるLLMに対して、質問だけ行うパターンなど
ゼロショットプロンプトの例としては、ChatGPTに対して「ビジネスパーソンは、どのようにAIを活用すべきですか？」と質問することなどが挙げられます。
Few-shot prompting：回答パターンなどをSystem組み込む
Few-shot promptingは、LLMに対して、回答例やデモンストレーションなどを提供し、文脈学習を通して質問や指示、回答のパターンなどを学習させるプロンプトの型です。
2024/2月に開発した、近場の旅行のAIコンシェルジュ・プロダクトのプロンプト
プロンプトの今後📝
ちまたで、プロンプトはいらなくなると言われているが、本当なのか🤔？
孫さんがプロンプトはいらなくなると断言している・・・
私の考えは、次のとおり。
-
一般ユーザーが、プロンプトを意識することは減ると思われる📝
- プロンプトレスなプロダクトが多くなると思われる
-
システムプロンプトは、依然として開発者に取っては必要📝
- プロンプトで、システム内のAI Modelの振る舞いを定義するから。
普段使っているサービスのSystem Promptについて📝
System Promptを抽出してコレクションしてくれている人もいる。
System Promptのコレクション Repository📝
Official Product System Prompt
その他、ざっくりプロンプト技術の種類など📝
まさぴょん🐱生成AIの展望とビジネス・モデル📝
生成AIの発展(できることの拡張)とともに、おのずと生成AIを活用したビジネス・モデルも拡張する。
引用元：https://speakerdeck.com/segavvy/ben-dang-niwakariyasuiairu-men?slide=59
生成AI ✖️ ○○が爆増中！！
- 生成AI ✖️ 検索機能 -> Felo, GenSpark, Perplexityなど
- 生成AI × コード自動生成 -> GitHub Copilot, Cursor
など
マルチモーダル化で組み合わせの力がUpしている！！
マルチモーダル（multimodal）とは、違う種類のデータ（モダリティ）を統合して処理する技術やシステムを指します。
・文章生成
・画像生成
・音声対話
を統合して処理など
Google公式のGemini Multimodal Live API - Web consoleのRepositoryがマルチモーダルの強力さを体感するには、おすすめです👍✨
事例1：Google製品に対するGemini組み込み📝
言わずもがなな、Google Workspaceのプロダクト群に対するGeminiの組み込み📝
事例2：Algomatic社のAIマルチプロダクト展開
ウォッチしている中で、生成AIを活用したプロダクト展開が速いのがDMMグループ傘下のAlgomatic社だと思っています📝
採用, 営業, 社内AI活用, 翻訳など、さまざまなドメインに対する生成AIプロダクトを展開しています✨
Algomaticは、生成AI技術を活用した、サービスの開発を行う事業会社です。
生成AI技術は、インターネットの登場のように、私たちの生活やビジネスに大きな変革をもたらします。
この技術革新によって生まれるチャンスを掴み、時代を変える事業を生み出します。
採用AIエージェント『リクルタAI』
商談獲得AIエージェント『アポドリ』
法人向け生成AI活用プラットフォーム『シゴラクAI』
AI Agentと、AI Agentワークフローについて📝
一般論としてAI Agentに明確は定義はない📝
ただ、特定タスクの代行AI(つまり、特化型のAI)と考えるといいかも🤔
AI Agentとは？
大規模言語モデル（LLM）にタスクを与え、自律的に判断・行動させる仕組み。
引用元：https://engineering.reiwatravel.co.jp/blog/llm_labo_furikaeri_workflow
AI Agent ワークフローとは？
AI Agentを組み合わせたワークフロー構築を提唱する人もいる📝
「入力→処理A→処理B→出力」のように、あらかじめ定義された手順に沿ってLLMを活用する仕組み。
引用元：https://engineering.reiwatravel.co.jp/blog/llm_labo_furikaeri_workflow
ここら辺をさらに詳しく知りたい方は、次の記事をCheckすることをおすすめします👀✨
AIワークフロー開発ツール: Dify
また、AI ✖️ ワークフローな開発ツールとして有名なのが『Dify』ですね👀✨
AI Agentオーケストラレーションについて📝
AI Agentオーケストラレーションという概念もあったりする📝
AIオーケストレーションとは、様々なAIツールやシステムを統合・管理し、シームレスに連携させるプロセスである。これらのツールを調整することで、企業は効率を最大化し、断絶したソリューションや重複したソリューションによる混乱を避けることができる。
熟練した指揮者が交響曲のハーモニーを奏でるように、それぞれの楽器や道具が適切なタイミングで役割を果たし、素晴らしいものを生み出すのだ。
『神威/KAMUI』AI Agentオーケストラレーション開発ツール(?)
日本だと『神威/KAMUI』というAI Agentオーケストラレーションを基盤・根本設計としたプロダクトが有名です📝
AWS Multi-Agent Orchestrator
AWS がマルチ・エージェントのフレームワークを出したりもしています📝
その他、AI Agentオーケストラレーション化について言及している記事📝
まさぴょん🐱生成AIのプロダクト組み込みについて📝
生成AIでなんかやれと言われる皆さんへ（DeepSeekとばっちり編）
その他
まさぴょん🐱ハンズオン・コーナー (時間あったら)
Gemini Multimodal Live API - Web console
AITuber Kit