📖

LLMとは？機械学習との違いは？

に公開
AI
機械学習
LLM
生成 AI
tech

1. はじめに

自然言語処理の分野では、LLM (Large Language Model) の出現が大きな変革をもたらしました。ChatGPTなどで知られる超大規模なモデルが、

  • 要約
  • 翻訳
  • 法律文書の下書き
  • コード生成

など、多様なタスクを汎用的にこなしているためです。
さらに近年は、これらのLLMがマルチモーダル（画像・音声などテキスト以外も処理）へと拡張されつつあり、画像の内容を要約したり、音声を文字起こしして解釈したりといった高度なアプリケーションも見え始めています。

本記事では、

  1. マルチモーダルへの拡張も含めたLLMと従来の機械学習（クラシカルML）の違い
  2. ファインチューニング (Fine-Tuning) とRAG (Retrieval-Augmented Generation) の使い分け
  3. LLMだけで十分なケース vs. 独自機械学習が必要なケース
  4. 機械学習におけるデータのベクトル化（特徴量化）の重要性

について深掘りしながら解説します。

2. LLM (Large Language Model) とは？

2-1. 膨大なテキストコーパスに基づく汎用言語モデル

LLM (Large Language Model) とは、

  • 数十億〜数千億 ものパラメータを持つ巨大なモデル
  • インターネット上の文章、論文、書籍、コード など膨大なテキストを事前学習
  • 要約、翻訳、文章生成、質問応答、コード補完 など多様なタスクに対応可能

という大規模な自然言語処理モデルの総称です。ChatGPTやGPT-4、GoogleのPaLM2、MetaのLLaMAなどが代表例です。

2-2. マルチモーダル対応への拡張

近年は、LLMに画像や音声などのモード（視覚・聴覚情報）を取り込む「マルチモーダル」技術が注目を集めています。

  • GPT-4 では一部、画像を入力として与えられた内容を説明するデモが行われています
  • OpenAI Whisper などの音声認識モデルを連携させ、音声→テキスト変換＋LLMで要約や応答を生成
  • CLIP, BLIP系研究モデル で画像理解やキャプション生成を強化

こうした技術発展により、「LLMがテキストだけでなく画像や音声も『読解』し、最終的にテキスト応答を返す」未来が見え始めています。

2-3. 従来の機械学習では欠かせないベクトル化（特徴量化）

従来の機械学習（後述）では、入力となるテキストや画像・音声などをそのままモデルに渡すわけにはいかず、数値ベクトル（特徴量）に変換（ベクトル化） する工程が不可欠でした。

  • テキスト → Bag of WordsやTF-IDF、Word Embedding
  • 画像 → ピクセルの行列 or 畳み込みで抽出した特徴量
  • 音声 → スペクトログラムなどの変換

これらを入力とすることで、クラシカルML（SVM、ランダムフォレストなど）や深層学習モデルが学習・予測を行います。
一方、LLMなどのディープラーニングをベースにした大規模モデル では、すでに内部で特徴抽出（Embedding）を大規模に学習 しており、“最終的に人間はプロンプトをテキストで与えるだけ”でモデルが内部処理をしてくれます。これは従来型との大きな違いの一つです。

3. 従来の機械学習 (クラシカルML) との違い

3-1. クラシカルMLでの手法とフロー

従来の機械学習（クラシカルML）は、

  1. タスク特化：
    スパム判定、画像分類、音声認識、需要予測など、目的別にモデルを1から作る
  2. 特徴量エンジニアリング：
    テキストや画像をベクトル化 し、モデルが学習しやすい数値形式に落とし込む
  3. モデル選定＆学習：
    ランダムフォレスト、SVM、ニューラルネットなどを訓練データで学習
  4. 評価＆運用：
    AccuracyやF1スコアなどで評価し、本番システムにデプロイ

ここで重要なのが「入力データのベクトル化（特徴量化）」です。クラシカルMLでは、テキストや画像・音声など元の形式のままではモデルが直接扱えないため、あらかじめ行う前処理 が性能を大きく左右します。

3-1-1. 教師あり学習（Supervised Learning）

  • ラベル付きデータ を準備し、入力（特徴量）と出力（クラスや数値）が対応するペアを学習
  • 例：画像に「犬・猫」のラベルを付与し、分類モデルを訓練
  • 分類や回帰タスクが中心。ラベル付け作業コストが大きいが、精度は得やすい

3-1-2. 教師なし学習（Unsupervised Learning）

  • ラベルのないデータ に対して、クラスタリングや次元削減、異常検知などを行う
  • 例：膨大な顧客データをクラスタリングしてセグメントを発見
  • ラベル付け不要だが、結果の解釈が難しい。タスク定義も柔軟

3-1-3. 強化学習（Reinforcement Learning）

  • エージェントが環境との相互作用を通じて「報酬」を得ながら学習
  • ロボット制御やゲームの高得点化などで成果を上げている
  • LLMの学習にも一部採用されており、RLHF (Reinforcement Learning from Human Feedback) などが有名

3-2. LLMが変えた視点

LLMでは、多種多様なテキストをすでに大規模学習 しているため、

  • 特定タスク向けに大量のラベル付きデータを集めなくても、ある程度汎用的に使える
  • プロンプト（指示文） を工夫すれば、モデル内部で embedding （ベクトル化）を行い、翻訳・要約・生成などを柔軟に行ってくれる

という点が従来の機械学習と大きく異なります。さらにマルチモーダル化が進めば、画像・音声などもLLMが内部でベクトル埋め込みを学習 し、文章レベルで解釈・説明できるようになると期待されています.

4. ファインチューニング (Fine-Tuning) とは？

4-1. 基本概念

ファインチューニング とは、既に事前学習されたLLMに対して「特定ドメインや独自フォーマットを再学習させる」手法です。

  • 例：医療文書や法律文書を大量に投入して再学習し、「専門用語が厳密に使えるLLM」を作る
  • 例：社内のFAQやチャットログを学習させ、回答精度を上げる

4-2. マルチモーダルにも応用可能

画像や音声へ対応するマルチモーダルLLMであっても、特定の画像分野（医療画像、工場の不良検知など）や特定の音声ドメイン（方言、雑音環境など）に特化させる場合、ファインチューニングが考えられます。ただし、極めて大規模 になりやすく、学習コストが高い点に注意です。

4-3. メリット & デメリット

  • メリット

    1. ドメイン特化の正確性が向上
    2. 独自文体・フォーマットの出力をモデル内部に学ばせられる
    3. セキュアなオンプレ環境で機密データをモデル内に埋め込む形で運用可能

  • デメリット

    1. 大量データ＆GPUリソースが必要（ラベル付きデータを要する場合も多い）
    2. モデルの再学習やバージョン管理が複雑
    3. 特にマルチモーダルだと、前処理・アノテーション（ラベリング作業）も含めて準備コストが一層大きい

5. RAG (Retrieval-Augmented Generation) とは？

5-1. 基本概念

RAG (Retrieval-Augmented Generation) は、LLM自体を再学習する代わりに、外部DBや検索エンジン で情報を取り出し、それをLLMに渡して回答・文章生成する仕組みです。

  1. ユーザーの質問を受け取る
  2. 検索サーバーやベクターDBなどで関連文書を取得
  3. LLMがそれら文書を踏まえ、回答を生成

5-2. マルチモーダルとの組み合わせ

  • ユーザーが画像をアップロードし、それに相似した画像やメタ情報を検索 → その結果をLLMに渡して解説を生成
  • 音声データをまずテキストに変換 (Whisper等) → その文字起こしを検索で関連情報と突き合わせ → LLMが要約・回答

5-3. メリット & デメリット

  • メリット

    1. モデルの再学習不要。外部DBを更新すれば最新情報を参照可能
    2. ドメインデータを大量に抱える企業向けに、ナレッジベースを活用しやすい
    3. 検索結果URLや抜粋を回答に含めれば、根拠提示がしやすい

  • デメリット

    1. 検索精度が悪いと回答も誤った方向に
    2. システム構成が複雑になりやすい（検索＋LLM）
    3. 画像や音声を扱う場合、事前にベクトル化やテキスト化などの前処理が必要

6. LLMだけで足りるケース vs. 独自に機械学習モデルが必要なケース

6-1. LLM（またはマルチモーダルLLM）だけで十分なケース

  1. 自然言語が主体のタスクで厳密性が高くない
    • 例：文章の要約・生成・翻訳。誤差が多少あっても後から人間が修正可能
  2. マルチモーダルでも“軽い”画像・音声の取り扱い
    • SNS投稿画像をざっくり説明したい、音声をテキスト化して簡易要約したい程度
  3. 外部API利用OK、GPUリソースを自社で抱えない
    • セキュリティ的にも問題なく、クラウドのLLMを使える
  4. リアルタイム大量処理を要求しない
    • 推論が数秒かかっても許容できる用途（チャットボット、オフライン要約など）

6-2. 独自機械学習を作る・使うケース

  1. 画像・音声で高精度が求められる

    • 医療用画像解析、工場の不良検知、顧客コールセンター音声の正確な感情分析など。専用モデル（CNN、ASRなど）を作り込んだほうが成果が安定

  2. 超高速・リアルタイム推論が必須

    • LLMは推論コストが大きい。レコメンドエンジンや金融トレーディングなどミリ秒単位を要求するタスクには向かない

  3. オンプレで大規模LLMを運用できない

    • GPUリソース不足、セキュリティ・コンプライアンス上クラウド利用が難しい場合、従来型MLのほうがスリムに動かせる

  4. 厳密な数値予測・制御（需要予測、ロボット制御など）
    LLMは確率的テキスト生成モデルであり、「文章（文字列）」として数値をアウトプットします。一方、高精度な数値出力や制御が要求されるタスク（例：需要予測、金融リスク評価、ロボット制御など）では、誤差 や 推論の安定性 が極めて重要になるため、LLMのような「確率的テキスト生成」だけでは不十分な場面が多々あります。

    例えば、需要予測では

    • [1] 過去の売上データや時系列特徴量、外部指標などを 厳密にベクトル化 し
    • [2] 線形回帰・決定木・深層学習ベースの回帰モデルなどを使い
    • [3] 業種の固有ノウハウ（季節変動、キャンペーン効果など）を考慮して学習

    といったプロセスを踏むことで、より再現性が高く可制御な数値予測 を得やすくなります。ロボット制御でも、フィードバック制御理論や強化学習の報酬設計など、数理的制約 をしっかり組み込める仕組みが必要です。

    つまり、LLMはテキストを「それっぽく」生成する傾向 があり、厳密な数値計算や誤差最小化を内部ルールとして保証しているわけではありません。特に大きなリスクを伴うタスク（在庫最適化、工場ラインのリアルタイム制御など）では、専用のMLモデルや数理最適化手法 を組み合わせるほうが安定しやすく、結果に対する説明可能性（Explainability）も確保しやすいと言えます。

    (補足) ファインチューニングと数値タスク
    ファインチューニングを行えば、LLMに「ドメイン固有の用語」や「タスク固有の形式」を学ばせることで一定の精度向上は期待できます。ただし、LLMの根本構造が「確率的テキスト生成」に基づいていることは変わりません。そのため、以下のような制約や留意点が残ります。

    • 数値的正確性の保証は難しい
      ファインチューニングで「数値予測タスク」を学ばせても、LLMはあくまでテキスト（文字列）を生成します。計算過程が“確率的な文章生成”の一部であり、専用の数値最適化とは異なるアプローチです。
    • 安定した再現性・一貫性を得にくい
      LLMは同じプロンプトでも微妙に異なる回答を生成する場合があり、乱数シードや**推論パラメータ（temperature等）**にも左右されます。
      数値予測であれば、同じ入力に対して常に同じ結果が得られる（再現性が高い）方が望ましく、LLMではその点で不安定さが残ります。
    • 数値タスク特化モデルのほうが高精度・安定な場合が多い
      需要予測や金融リスク評価など、「数値予測の誤差を極力下げる」ことが最重要なタスクでは、専用の回帰モデルや時系列モデルを使うほうが効果的です。
    • 数値出力の結果を“自然言語で解釈・説明する”用途には有用
      ファインチューニングされたLLMが、計算結果をドメイン固有の文脈でわかりやすく記述したり、レポートを一定のフォーマットで生成するなどは、LLMの強みを活かせる場面と言えます。

  5. 機密情報を扱うが、LLMのように外部APIへ送れない

    • オンプレ完結のLLMを動かすには大きな投資が必要なため、既存のクラシカルMLモデルで十分な場合がある

7. LLM導入時の注意点

7-1. プロンプト設計 (Prompt Engineering)

  • 曖昧な指示だと期待通りの回答が得られない
  • JSON形式や箇条書き、文字数制限など明示的に書くと改善しやすい
  • マルチモーダルなら、画像や音声をどのようにモデルへ渡すかも検討（API対応、前処理モデル経由など）

7-2. 幻覚 (Hallucination) 問題

  • LLMは不明なことでも「それっぽい」回答を生成するため、誤情報対策が不可欠
  • 重要な業務では人間が最終チェックするフローを用意
  • RAGの根拠文書提示で回答の信頼性を少し高められる

7-3. セキュリティ・プライバシー

  • 外部APIへ送信する場合、機密データや個人情報の流出リスクをどう管理するか
  • オンプレで動かす際、大規模LLMやマルチモーダルモデルはGPUやストレージの要件が高い
  • ログ管理・アクセス制御で問い合わせ内容や出力を厳重管理する必要がある

7-4. 運用・継続的なアップデート

  • ベースモデルのバージョンアップ（GPT-3.5→GPT-4など）で回答品質やフォーマットが変わる可能性
  • ファインチューニングの場合、新しいデータが出るたび再学習するかの方針を決める
  • RAGの場合、外部DBやインデックス更新が継続運用の要となる

8. ファインチューニング vs. RAG — 選択指針

判断軸 ファインチューニング RAG (Retrieval-Augmented Generation)
ドメイン特化 モデル内部に専門用語やフォーマットを深く埋め込みたい（医療・法律など） 汎用LLMのまま、検索で必要データだけを取り出し、LLMに渡す形。特化度は限定的
更新頻度 新情報を反映するには再学習が必要。大規模モデルだとコストも大 検索DBを更新すれば即時反映。ニュースや在庫など日々変化する情報に強い
運用コスト GPUリソース、学習データ、バージョン管理が複雑 検索エンジン・インデックス運用が必要だが、LLM自体の再学習は不要
マルチモーダル 画像・音声の専門知識をモデルに直に学習させれば高い正確性が期待できるが、相応に大規模化 検索対象として画像・音声メタデータをインデックス。LLMへ要約を渡す設計。汎用性はあるが専門精度は独自モデルほど望めないかも
根拠提示 ファインチューニングモデルからは内部根拠を示しづらい 検索ヒットのURLや抜粋を回答に添えることで裏付けを示しやすい

9. 今後の展望：マルチモーダルLLMの進化

  1. 強力な画像理解
    • GPT-4は一部画像入力デモを行い、BLIP系研究では画像に対する高度な質問応答が可能
  2. 音声や動画との統合
    • Whisperなどの高精度ASRとLLMを組み合わせ、音声→テキスト要約・対話がより自然に
  3. マルチモーダル検索 + RAG
    • 画像をベクター化して類似検索、LLMが解釈結果をテキストとしてまとめるユースケースの発展
  4. 軽量化や分散推論技術
    • LoRAなどの部分学習手法や分散推論技術が進化し、大規模LLMをもっと運用しやすくなる可能性

10. まとめ

  1. LLMは膨大な言語学習を基に、要約・翻訳・生成などを汎用的に行えるモデルで、今後はマルチモーダル（画像・音声など）も扱える時代へ
  2. クラシカルML ではテキストや画像を必ずベクトル化（特徴量化）して学習する手間が大きいが、高精度かつ高速で特化タスクに対応できる強みがある
  3. ファインチューニング は特定領域の深い知識や独自スタイルをモデル内部に埋め込みたいときに効果的だが、学習コスト・運用が重い
  4. RAG は外部DBなどから必要な情報を検索し、LLMと組み合わせて回答を生成するため、最新情報や大規模ドキュメントを活用しやすい
  5. LLMだけで十分なケース：
    • テキスト主体の用途、誤差許容度が高い、外部API利用OK、リアルタイム性がさほど求められない
  6. 独自MLが必要なケース：
    • 画像・音声などで高精度＆高速処理が必要、オンプレしか使えない、厳密な数値予測・制御が重要など
  7. 導入時の注意点：
    • プロンプト設計、誤情報への対策、セキュリティ（機密情報の扱い）、継続的な運用体制の確立

マルチモーダルLLMが進化すると、画像や音声の内容を理解し、テキストで解釈や要約を返せる技術が当たり前になるかもしれません。しかし、実際の業務では高速処理 や 非常に高い精度、オンプレ完結 などの要件が存在し、従来の機械学習や専用モデルのほうが有利な場面も多々あります。LLMをうまく使いつつも、必要に応じてクラシカルMLや小型のディープラーニングモデルを組み合わせる のが現実的な落とし所といえるでしょう。

Discussion