📖

TOONフォーマット完全ガイド:LLMプロンプトを最適化する次世代データ記法

ケン吉

2025/11/21に公開

TOON(Token-Oriented Object Notation)は、LLM(大規模言語モデル)への入力データを最適化するために設計された、コンパクトで人間にも読みやすいデータ形式です。JSONと完全互換性を保ちながら、YAMLのインデント構造とCSVの表形式を組み合わせることで、JSONより約40%少ないトークンで同じ情報を表現できます。
ベンチマークでは、TOONはJSONの69.7%に対して73.9%の精度を達成しており、特に統一構造の配列データで威力を発揮します。
TypeScript、Python、Go、Rustなど多言語対応のライブラリも提供されています。
https://github.com/toon-format/toon

 深掘り
 深掘りを解説TOONフォーマットは、単なるデータ圧縮技術ではなく、LLMの認知特性を深く理解した上で設計された革新的なアプローチです。
ハイブリッド設計思想の本質

TOONの最大の特徴は、複数の既存形式の長所を組み合わせた「ハイブリッド設計」にあります。ネストしたオブジェクトにはYAMLのインデント構造を採用し、統一構造の配列にはCSVのタブラー形式を適用します。この使い分けにより、データの特性に応じた最適な表現が可能になります。
構造認識による精度向上

TOONが単にトークン数を減らすだけでなく、精度も向上させている理由は「スキーマ認識」にあります。配列ヘッダー(hikes[3]{id,name,distanceKm}:)は、LLMに対して「これから3つの要素があり、それぞれがid、name、distanceKmを持つ」という明確な構造情報を提供します。この事前情報により、LLMはデータをより正確に解釈できます。
タブラー適格性という概念

TOONでは「tabular eligibility(タブラー適格性)」という指標を導入しています。これは配列内の全オブジェクトが同一構造を持つ度合いを示します。適格性100%の完全統一データでは、TOONは最大の効率を発揮します。適格性0%の深くネストしたデータでは、JSONの方が効率的な場合もあります。この概念により、適材適所でのフォーマット選択が可能になります。
ベンチマークの科学的アプローチ

TOONプロジェクトは、4つのLLM、6つのデータ形式、209個の質問で5,016回のAPI呼び出しを行う大規模ベンチマークを実施しています。質問は「フィールド取得」「集計」「フィルタリング」「構造認識」「構造検証」の5カテゴリに分類され、データ形式の包括的な評価を可能にしています。
構造検証の革新性

TOONは配列長[N]とフィールド定義{fields}により、データの完全性検証を可能にします。配列が途中で切れている、余分な行がある、フィールド数が不一致といった破損を検出できます。これはCSVにはない大きな利点です。

 深掘りを図解
 用語解説Token-Oriented Object Notation (TOON)

トークン指向オブジェクト記法。LLMへの入力を最適化するために、トークン効率を最優先に設計されたデータ形式。
トークン (Token)

LLMがテキストを処理する最小単位。英語では単語や部分単語が1トークンになり、日本語では1-3文字程度。API料金はトークン数で課金されるため、削減が重要。
LLM (Large Language Model)

GPT、Claude、Geminiなど、膨大なデータで学習された大規模言語モデル。テキスト生成、理解、分析を行う。
Tabular Eligibility (タブラー適格性)

配列内のオブジェクトが同一構造を持つ割合。100%なら完全統一、0%なら全て異なる構造。TOONの効率性を左右する重要指標。
スキーマ認識 (Schema-Aware)

データの構造情報(フィールド名、型、配列長など)を明示的に持つこと。TOONは[N]{fields}:形式でスキーマを表現。
配列ヘッダー (Array Header)

hikes[3]{id,name,distanceKm}:のような記法。配列の要素数とフィールド名を一度だけ宣言する。
インデント構造 (Indentation-Based Structure)

階層関係を字下げ(スペース)で表現する方法。YAMLやPythonで採用されている視覚的に分かりやすい構造表現。
ロスレス (Lossless)

情報の損失がないこと。TOONはJSONと完全に相互変換可能で、データの欠損や変質が一切ない。
TTFT (Time To First Token)

LLMが最初のトークンを出力するまでの時間。応答速度の重要な指標。
RAG (Retrieval-Augmented Generation)

検索拡張生成。外部データベースから情報を取得してLLMに渡し、より正確な回答を生成する技術。
構造検証 (Structural Validation)

データの完全性や一貫性をチェックする機能。TOONは配列長やフィールド数の検証が可能。
デリミタ (Delimiter)

データの区切り文字。TOONではカンマが標準だが、タブ文字を使うとさらにトークン効率が向上。

 ルーツ・背景TOONフォーマットの誕生は、LLM技術の急速な進化と商用化がもたらした具体的な課題に対する直接的な応答です。
JSONの栄光と限界(2001-2020)

JSONは2001年にDouglas Crockfordによって提唱され、その単純さと可読性により、Web APIの事実上の標準となりました。しかし、JSONは人間とコンピュータ間のデータ交換を想定しており、LLMという新たなユーザーの存在は想定されていませんでした。
LLM商用化とトークン課金の衝撃(2020-2023)

2020年にGPT-3、2022年にChatGPTが登場すると、企業や開発者が大規模にLLM APIを利用し始めました。その際、トークン数に基づく課金モデルが一般化し、データ形式の効率性が直接的なコスト要因となりました。例えば、月に100万トークンを処理する企業がJSONからTOONに切り替えれば、40%のコスト削減、つまり数万ドルの節約が実現します。
データ形式の探索期(2023-2024)

LLMコミュニティでは、プロンプトエンジニアリングの一環として、最適なデータ形式が模索されました。YAML、CSV、XMLなどが試されましたが、それぞれに課題がありました。

YAML: 可読性は高いがトークン効率はJSONより若干良い程度

CSV: 超効率的だがネスト構造を表現できない

XML: 最も非効率的で冗長
TOONプロジェクトの始動(2024-2025)

このような背景の中、Johann Schopplichを中心とするチームが、LLM専用に設計された新しい形式としてTOONを開発しました。2025年1月にv1.0がリリースされ、わずか数週間でGitHubスター18,600以上を獲得。TypeScript、Python、Go、Rustなど24人以上のコントリビューターが多言語実装を進めています。
科学的アプローチの重視

TOONプロジェクトの特徴は、主観的な主張ではなく、大規模ベンチマークによる客観的な検証を重視している点です。5,000回以上のAPI呼び出しによる比較テストは、データ形式の評価において新しい標準を確立しました。

 技術の仕組み
 技術の仕組みを解説TOONの技術的な仕組みを、実例を通じて段階的に理解しましょう。
レベル1: 基本オブジェクトの表現

最もシンプルなケースから始めます。
JSON:
{
  "name": "Alice",
  "role": "admin"
}
TOON:
name: Alice
role: admin
波括弧{}と引用符""を削除し、キー:値の形式だけ残します。これだけで約30%のトークン削減になります。
レベル2: ネスト構造の表現

階層的なデータは、インデント(2スペース)で表現します。
JSON:
{
  "config": {
    "theme": "auto",
    "language": "en"
  }
}
TOON:
config:
  theme: auto
  language: en
視覚的に階層が明確で、JSONの記号類が不要になります。
レベル3: 統一配列のタブラー表現(TOONの真骨頂)

同じ構造のオブジェクトが並ぶ配列は、表形式に変換します。
JSON(108トークン):
{
  "hikes": [
    {"id": 1, "name": "Blue Lake", "distanceKm": 7.5},
    {"id": 2, "name": "Ridge Overlook", "distanceKm": 9.2},
    {"id": 3, "name": "Wildflower Loop", "distanceKm": 5.1}
  ]
}
TOON(66トークン、39%削減):
hikes[3]{id,name,distanceKm}:
1,Blue Lake,7.5
2,Ridge Overlook,9.2
3,Wildflower Loop,5.1
仕組みの詳細:

配列ヘッダー: hikes[3]で3要素あることを明示

フィールド定義: {id,name,distanceKm}でフィールド名を一度だけ宣言

データ行: 値だけをカンマ区切りで並べる
これにより、"id":、"name":、"distanceKm":の繰り返しが完全に排除されます。
レベル4: 混合構造の最適表現

実際のデータは様々な構造が混在します。TOONは各部分に最適な表現を選択します。
context:
  task: Our favorite hikes together
  location: Boulder
  season: spring_2025
friends[3]: ana,luis,sam
hikes[3]{id,name,distanceKm,elevationGain,companion,wasSunny}:
  1,Blue Lake Trail,7.5,320,ana,true
  2,Ridge Overlook,9.2,540,luis,false
  3,Wildflower Loop,5.1,180,sam,true

contextはネストオブジェクト → インデント形式

friendsは単純配列 → カンマ区切り

hikesは統一オブジェクト配列 → タブラー形式
レベル5: 構造検証の仕組み

TOONは[N]と{fields}により、データ破損を検出できます。
users[3]{id,name,email}:
1,Alice,alice@example.com
2,Bob,bob@example.com
この場合、ヘッダーは3要素を宣言していますが、実際は2行しかありません。LLMはこの不整合を検出し、データが不完全であることを認識できます。CSVにはこの機能がありません。

 技術の仕組みを図解
 実務での役立ち方TOONフォーマットは、LLMを業務活用する様々なシーンで具体的な価値を提供します。
1. API運用コストの大幅削減

月間100万トークンを処理する企業の場合:
JSON使用時: $20/100万トークン × 1M = $20
TOON使用時: $20/100万トークン × 0.6M = $12
月額$8、年間$96の削減
大規模運用では数十万ドルの削減も可能です。
2. データ分析パイプラインの構築

顧客データ、売上データ、ログデータをLLMで分析する際:
従来: 1万件のJSONデータが50万トークン → コンテキスト制限で分割が必要
TOON活用: 同じデータが30万トークン → 一度に処理可能
分析精度の向上と処理時間の短縮
3. カスタマーサポートチャットボット最適化

顧客情報、過去の問い合わせ履歴、FAQデータベースをコンテキストとして渡す場合:
TOONを使うことでより多くの関連情報を含められる
応答の正確性が向上し、顧客満足度がアップ
トークン制限内で提供できる情報量が1.5倍に
4. RAGシステムでの検索結果最適化

ベクトル検索で取得した関連ドキュメントをLLMに渡す際:
JSON: 10件の検索結果を含められる
TOON: 15件の検索結果を同じトークン数で含められる
より包括的な情報に基づく回答生成
5. レポート自動生成の高速化

営業レポート、財務分析、マーケティングレポートの自動生成で:
データ転送のトークン削減により、TTFT(初回トークン生成時間)が短縮
ユーザー体験の向上
レポート生成速度が平均20-30%向上
6. 社内ドキュメント検索システム

Google Drive、Slack、Notionなどから取得した情報をLLMに渡す際:
TOONでフォーマットすることで、トークン制限内により多くの文脈を含められる
検索精度と回答品質の向上
関連文書の引用数が増加

 キャリアへの効果TOONフォーマットの習得は、AI時代のキャリアに多面的な価値をもたらします。
1. LLMエンジニアとしての専門性の証明

TOONを理解し活用できることは、以下を示します:
LLMの内部動作(トークン処理)への深い理解
コスト最適化への実践的なアプローチ
最新技術トレンドへの感度の高さ
市場価値: LLMエンジニアの年収は1,000-2,000万円のレンジで、専門スキルが給与に直結します。
2. システムアーキテクトとしての設計力

データ形式の選択は、システム全体のパフォーマンスとコストに影響します。TOONを適材適所で使える能力は:
データモデリングスキルの高さ
パフォーマンスチューニング能力
トレードオフの判断力
これらはシニアエンジニアやアーキテクトに求められる重要なスキルです。
3. コスト意識の高い開発者としての評価

AI導入を進める企業では、運用コストの管理が重要課題です。TOONによる40%のコスト削減を実現できる開発者は:
経営的視点を持つエンジニア
ROI(投資対効果)を意識した開発
ビジネス価値を創出できる人材
として高く評価されます。
4. オープンソースコミュニティでの貢献機会

TOONは活発に開発が進んでおり、多言語実装やツール開発に貢献できます:
GitHubでの実績づくり
グローバルな開発者コミュニティとの交流
技術リーダーシップの発揮
これらの経験は、転職市場で大きなアドバンテージになります。
5. プロンプトエンジニアリングスキルの深化

TOONを学ぶ過程で、LLMがどのようにデータを解釈するかの理解が深まります:
効果的なプロンプト設計能力
LLMの特性理解
構造化データの扱い方
これらはプロンプトエンジニアという新職種で求められるコアスキルです。
6. 技術ブログやカンファレンスでの発信

TOONのような最新技術を実務で活用した経験は、優れた発信材料になります:
技術ブログでの知見共有
カンファレンスでの登壇
個人ブランディングの強化
これらは、キャリアの選択肢を大きく広げます。

 学習ステップ
 学習ステップを解説TOONを実務で使いこなすまでの体系的な学習パスを紹介します。
フェーズ1: 基礎理解(1週間)
Day 1-2: 前提知識の確認
JSONの基本構文を復習(オブジェクト、配列、プリミティブ型)
LLMのトークン処理の仕組みを理解
なぜトークン効率が重要かを理解
Day 3-4: TOON構文の学習
公式ドキュメントを読む
基本構文(オブジェクト、配列、ネスト)を理解
配列ヘッダー記法の意味を理解
Day 5-7: 実践的な例題
Toonadeなどのオンラインツールで変換を試す
自分でJSON→TOON変換を手書きで行う
トークン数を比較し効果を実感
フェーズ2: 実装スキル習得(2週間)
Week 1: ライブラリの基本使用
使用言語のTOONライブラリをインストール
encode/decode APIの基本操作を習得
小規模なサンプルプログラムを作成
Week 2: 実践的な統合
既存プロジェクトへの組み込み
LLM APIとの連携実装
エラーハンドリングの実装
フェーズ3: 最適化とベストプラクティス(2-3週間)
Week 1: パフォーマンス測定
Before/Afterでトークン数を測定
コスト削減効果を数値化
ベンチマークツールの活用
Week 2: 高度な機能の活用
タブデリミタによるさらなる効率化
カスタム変換オプションの利用
大規模データの分割戦略
Week 3: プロダクション対応
ロギングとモニタリングの実装
エッジケースへの対応
ドキュメント作成
フェーズ4: 応用と貢献(継続的)
継続的な活動:
社内での知見共有とベストプラクティスの確立
オープンソースへの貢献(バグ報告、機能提案、実装)
技術ブログでの発信
新しいユースケースの探索
学習を加速させるコツ:

実データで試す: 業務で扱っているJSONデータで実験する

効果を可視化: トークン削減率をグラフ化して成果を見える化

コミュニティ参加: GitHubのDiscussionsやIssueで質問・議論

段階的導入: いきなり全面移行せず、一部から始める

測定を習慣化: 常にトークン数を意識する開発スタイルを確立

 学習ステップを図解
 あとがきTOONフォーマットはAI時代における「データをどう伝えるか」という根本的な問いに対する実用的な答えです。
TOONに魅力は、その設計思想の明快さです。「トークンを減らす」という単一の目標に向かって、しかし複数の既存技術の良いところを組み合わせるハイブリッドアプローチを取る。YAMLの読みやすさ、CSVの効率性、JSONの汎用性——それぞれの長所を生かしながら、LLMという新しいユーザーに最適化する。これは、技術設計の教科書的な事例と言えるでしょう。
特筆すべきは、TOONプロジェクトが「科学的アプローチ」を徹底している点です。5,000回以上のベンチマーク、4つのモデル、6つの形式、209の質問——これほど体系的にデータ形式を評価した例は過去にありません。主観や印象ではなく、客観的なデータに基づいて「TOONは40%効率的で、精度も4%向上する」と言えることの価値は計り知れません。
しかし、TOONを学ぶ本当の価値は、形式そのものよりも、その過程で得られる「深い理解」にあります。LLMがどうテキストを処理するのか、なぜ構造が重要なのか、トークンとコストの関係は——これらの理解は、TOONを使わない場面でも、あなたのLLM活用全般を底上げしてくれます。
技術は進化し続けます。明日、TOONを超える形式が登場するかもしれません。しかし「トークン効率」「構造明示性」「人間とAIの両立」という設計原則は、普遍的な価値を持ち続けるでしょう。
今、あなたがTOONを学ぶことは、単に一つのツールを手に入れることではありません。それは、AI時代のデータ設計思想を体得し、これから続々と登場するであろう新技術を評価し、選択し、活用する「目」を養うことなのです。
2025年、TOONはまだ生まれたばかりです。このドキュメントを読んでいるあなたは、まさに「アーリーアダプター」として、この技術の進化を一緒に作っていく立場にいます。あなたのフィードバック、あなたの実装、あなたの発見が、TOONの未来を形作ります。
あなたのLLM活用の旅に、TOONが確かな一歩となることを願っています。そして、その経験をコミュニティに還元していただけることを、心から楽しみにしています。

 オススメの書籍
 大規模言語モデルは新たな知能か　ＣｈａｔＧＰＴが変えた世界
内容: 東京大学の松尾豊教授による、LLMの本質と社会的影響を解説した書籍。トークン処理の仕組みやLLMの認知特性について理論的背景から学べます。TOONがなぜ効果的なのかを学術的に理解する上で最適です。

 ChatGPT/LangChainによるチャットシステム構築［実践］入門
LangChainを使ったシステム開発の実践書。プロンプトエンジニアリング、コンテキスト管理、トークン最適化の章があり、TOONのような効率化技術を実装レベルで理解できます。実務での活用例も豊富です。

 生成AIプロンプトエンジニアリング入門 ChatGPTとMidjourneyで学ぶ基本的な手法
プロンプト設計の体系的な解説書。データフォーマットの選択がLLMの性能に与える影響について詳しく解説されており、TOONを使うべきシーンとそうでないシーンの判断基準が身につきます。

 データ指向アプリケーションデザイン ―信頼性、拡張性、保守性の高い分散システム設計の原理
内容: データモデリングとシリアライゼーションの名著。JSON、CSV、Protocol Buffersなど各種データ形式の特性と使い分けを深く理解できます。TOONを含む新しい形式を評価する際の判断軸が得られます。

 ソフトウェアアーキテクチャの基礎 ―エンジニアリングに基づく体系的アプローチ
システム設計における様々なトレードオフを扱った書籍。パフォーマンス、コスト、保守性のバランスをどう取るかという視点は、TOONを適材適所で使うための判断力を養います。

 初めてのLangChain ―LangChainとLangGraphによるAI/LLMアプリケーションの構築
RAGシステムの構築やベクトルデータベースの活用など、LLMの実践的な開発手法を解説。TOONをRAGシステムでどう活用するかの具体的なイメージが得られます。
これらの書籍は、TOONという個別技術を超えて、LLM時代のデータ設計、システムアーキテクチャ、プロンプトエンジニアリング全般の理解を深めるのに役立ちます。

1-2冊目: LLMの基礎理論と実装の両面

3冊目: プロンプトエンジニアリングの実践

4-5冊目: データ設計とシステム設計の原則

6冊目: TOONの具体的な活用シーン
これらを通じて、「なぜTOONが必要なのか」「どう使うべきか」「次に何が来るか」という多層的な理解が得られます。

ヘッドウォータース

株式会社ヘッドウォータースのテックブログです。 AIエージェント、生成AI、LLM、Azureのサービスや資格、IoT、XR系などData&AIとApp modernizeに関して幅広く投稿します！

深掘り

深掘りを解説

深掘りを図解

用語解説

ルーツ・背景

技術の仕組み

技術の仕組みを解説

技術の仕組みを図解

実務での役立ち方

キャリアへの効果

学習ステップ

学習ステップを解説

学習ステップを図解

あとがき

オススメの書籍

大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界

ChatGPT/LangChainによるチャットシステム構築［実践］入門

生成AIプロンプトエンジニアリング入門 ChatGPTとMidjourneyで学ぶ基本的な手法

データ指向アプリケーションデザイン ―信頼性、拡張性、保守性の高い分散システム設計の原理

ソフトウェアアーキテクチャの基礎 ―エンジニアリングに基づく体系的アプローチ

初めてのLangChain ―LangChainとLangGraphによるAI/LLMアプリケーションの構築

Discussion

大規模言語モデルは新たな知能か　ＣｈａｔＧＰＴが変えた世界