Zenn
☕️

JCQAコーヒーインストラクター1級 挑戦記 (その1)

2024/09/16に公開
ChatGPT
coffee
idea

はじめに

こんにちは、珈琲が大好きなエンジニアの Getty708 です。先週、JCQA のコーヒーインストラクター検定 1 級という、高度で専門的なコーヒーの知識と鑑定技術を問われる認定試験を受験してきました。本職の方が受けても非常に難しい資格 (合格率 20%!) なのですが、趣味は極めることにありということで、挑戦してきました。

普通に勉強して受験するだけでは面白くないので、生成 AI などを上手に活用して勉強しようと心に決め臨みました。実際のところ、諸所の理由でそこまで時間を確保できず、「エンジニアリングをしました！」というところまで辿り着けなかったのですが、次回に向けての振り返りとして、まとめておきたいと思います。

JCQA コーヒーインストラクター 1 級とは

コーヒーインストラクター検定は、3 級、2 級、1 級、コーヒー鑑定士の 4 段階あり、２級はコーヒーの愛好家あるいは対面販売を行うスタッフ向けの知識を問うもので、合格率はおよそ 90%です。一方で、1 級はコーヒーの輸入・買い付け・焙煎などを行う業者に求められる高度な知識を問う試験となっており、合格率はおよそ 20% (内 1 発合格は 10%程度)です。受験者のほとんどは現在コーヒー業界に従事している方で、趣味で受ける人はほんの一握りと思われます。JCQA のサイトには、1 級に求められる条件が以下のように記載されています。

J.C.Q.A. Certified Chief Coffee Instructor
高度で専門的なコーヒーの知識と鑑定技術。
コーヒー製造業者に求められる、プロとして必要な専門知識と鑑定技術を取得した方を認定いたします。

明らかに 2 級とは要求されるレベルが違うことがわかるかと思います。業者の方々でもこれほど受からないということは、とてもマニアックな試験だということでしょう (僕はそう思います)。

https://kentei.jcqa.org/about.html#gaiyo1

試験内容

試験は、学科と実技の２科目で構成され、合格するためにはそれぞれで８割を超える必要があります。コーヒーギークでない人は、タイトルだけ見て詳細は読み飛ばしてください。

学科試験

学科試験では、この検定のために作成された教科書があり、基本的にはここに書いてある内容から出題されます。ただし、試験の前には講習 (学科 1 日 + 実技 1 日) を受講する必要があり、ここで説明された内容も出題範囲となります。講師の方々が非常にマニアックで一日あっという間でした。

教科書からは、以下のようなトピックが出題範囲に含まれます。

  • 生豆
    • コーヒーの品種改良、栽培品種の起源と特徴
    • コーヒーの栽培・収穫方法 (気候、病害虫対策)
    • 精製・選別方法 (コーヒーの説明に書かれている、Natural や Washed などのことです。)
    • 生豆に含まれている成分
  • 焙煎
    • 焙煎機、焙煎方法
    • 焙煎による成分の変化と風味の形成
  • 粉砕・包装方法

具体的には、以下のような問題が出題されます。

Q. カネフォラ種は挿し木で増やすが、その理由は何か？
Q. カトゥアイの起源と特徴を答えよ。

実技試験

基本的には、講習会で行った内容が出題されます。具体的には、以下のような問題が出題されます。具体的には、(1) カッピングが 3 種類 (グレード判別、産地判別、欠点の判別)、(2) 外観分析、(3) 配合分析の問題が出題されます。例えば、(1) カッピング・産地判別では 2 種類のコーヒーをカッピング (テイスティング)し、6 種類の生産地から適切なものを選択します。詳細は以下の通りです。

実技は、単に味覚の良さを確認するものではなく、知識が前提としてあって、その知識を活用しながら正確に検体を分類していくことができるかが問われます。従って実技でも、知識を系統立てて整理しておくことが重要になります。

カッピング (グレード判別)

カッピングは、実際に 2 種類のコーヒーをカッピング (~= テイスティング)[1] して、選択肢の中からサンプルが該当するものを答える問題です。

生豆は、その品質によってグレードが付けられます。グレードが高いものほど生豆の品質が高く、高値で取引されます。グレードの判定方法は生産国によって異なり、その生産国でのグレードの定義を把握した上で、味わいからどのグレードか判定する問題です。今回は、ブラジル Type 2 と Type 4/5 の判定と、グアテマラ SHB と EPW の判定が出題されました。ブラジルは、ダメージを受けた豆の割合と生豆のサイズによる格付けを行います。Type 4/5 の方がダメージを受けた豆が多く含まれるため、味わいが劣ります。グアテマラ SHB と EPW は、生産地の標高による格付けで、SHB は 1200m 以上、EPW は 900 ~ 1050m の地域で生産されたものです。標高が高い方が、グレードが高く、アフター (余韻)が長続きする傾向があります[2]。

カッピング (産地判別)

２種類のコーヒーをカッピングして、生産国を当てる問題です。生産地特有の生成方法や気候や土壌などの条件 (= テロワール) が、コーヒーの味わいに影響を与えます。例えばコロンビアとグアテマラはどちらも、水洗式 (Washed)の精製方法が主に使用されており、酸味が特徴的なコーヒーになります。試験では、検体をカッピングをして、その酸味の違いなどから産地を推定する問題です[3]。

カッピング (欠点の判別)

欠点というのは、いわゆるダメージを受けた生豆のことで、例えば完熟していないコーヒーの果実から取り出された種子や、リオ臭というプールのような異臭のする生豆が混入していることがあります。正常系のコーヒーと比較して、味わいが劣ります。試験では、欠点のあるサンプルと正常なサンプルの２つをカッピングし、欠点の種類と欠点が含まれているサンプルを判定する問題です。

外観分析

焙煎豆を見て、その製法や産地を判定する問題です。精製方法によってセンターカットの色や、標高による豆表面の皺の入り方などに特徴が現れます。試験ではそれらを見て、産地とグレードを判断していきます。

Appearance Analysis

配合分析

2 種類の焙煎豆が混ざったサンプルが与えられ、混ぜられている豆の組み合わせとその配合比率を答える問題です。回答の際は、先ず外観から焙煎豆を 2 種類に選り分け、そのかさを見て 1:1 や 1:3 などの比率を回答します。

haigou bunseki

勉強方針

すみません。マニアックな話を長々と書いてしまいました。ここからが本題です。この試験には基本的には問題集や予想問題といったものがありません[4]。したがって、生成 AI に教科書の内容をインプットし、問題を生成してもらうという方法で勉強することにしました。具体的には以下のような手順で進めました。

  1. 教科書の内容をドキュメントへ書き起こし
  2. 作成したドキュメントをベースに問題を生成する GPTs を作成
  3. 作成した問題を用いて学習

[Phase 1] 知識データベース (ドキュメント) の構築

LLM を使う上での正攻法は、教科書を全スキャンしてそれを LLM に食わせることかと思います。今回は、(1) 自分で教科書の内容を整理したかった、(2) 講習でしか話されていない内容も多数あったので、手作業で書き起こすことにしました。

最初は、以下のような形式でスプレッドシートにキーワードと説明のペアとして書き起こしました。エンジニアとしてある程度構造化データが欲しくなしまうものです。あわよくば、あとで RDB に入れて管理したいと思っていました。

Knowlege Base - Spreadsheet
Google Spreadsheet に作成したナレッジベース

最初はこれが良いと思ったのですが、大事な説明部分 ("Note") の部分が全く構造化されていなかったり、キーワード間の関係性も表現しようとすると重複が発生したり、全く綺麗な構造化データではなくなりました。勉強するにもむしろ、わかりにくい。。。早々に撤退しました。

データ構造の柔軟性に問題があったと思い、次は LLM の理解力に賭けて、真逆をいきました。教科書のレジュメとしても活用できるように、Google Slide に重要事項をまとめていきました。文字だけではわからないものはビジュアルを追加したりして、とても良いレジュメができる予感が漂いました。しかし、試験までの時間は限られており、画像を探したり、レイアウトを整えたり、楽しいあまりに時間がかかり過ぎてしまい、タイムオーバーの危険性があったので、ここも撤退を決断しました。

Sample Slide

最終的には、Google Docs に教科書の各セッションごとに、説明されている概念を質問とそれに対する答えという形で箇条書きしていきました。Google Slide のレジュメに比べて、とてもシンプルで速いです。しかし、後に ChatGPT で作問させてみると、この形式が一番適していると感じました。次の LLM に練習問題を作成してもらう際に、ランダムな作問も良いのですが、本来の試験問題は意図を持って知識が問われるので、LLM が作問する問題もそれに沿うことが望ましいです。ChatGPT での作問を始めてからわかりましたが、この QA の形式でまとめた知識は、LLM に試験で問われそうな概念やどのような観点が重要かを示すとことに貢献していたように感じます。

(補足ですが、最初からこの形式で固まったのではなく、予備実験でできた知識ベースを少しずつ GPTs に与えて問題を生成しながら、この形式に辿り着きました。)

Knowlege Base - Docs
Google Docs に作成したナレッジベース

簡単な実験です。まず教科書の説明[5]を入力して作問させると、以下のような問題が生成されました。

Prompt (与えた説明文 - 教科書式)

以下にコーヒーの精製方法に関する説明を与えます。この説明を元に、JCQA のコーヒーインストラクター 1 級の試験問題を 3 問作成してください。コーヒーインストラクター 1 級は、基礎的なコーヒーの知識と鑑定技術を問い、コーヒーを飲むだけでなく詳しく勉強したい方を対象にした資格で、コーヒーの対面販売に従事する方に求められる基礎的な知識・鑑定技術を習得した方を認定するものです。

非水洗式

ブラジル、エチオピア、イエメン、インドネシアなどで行われている伝統的な方法で、祖先別の跡、コーヒーチェリーをそのまま乾燥させ、果肉とパーチメントを一度に除去してしまう。
この方法のメリットとして、工程のシンプルさと水洗式とは違う風味が得られることが挙げられるが、コーヒーチェリーはパーチメントコーヒーと比べてサイズが大きく、水分含量もおおいため、乾燥に時間がかかってしまう。
コーヒーチェリーは未成熟果実も完熟果実も乾燥させると同じような黒っぽい状態になってしまい、色で見分けることができないだけでなく、どちらも同じように脱殻ができる。非水洗式の場合、脱殻までの精選工程で未成熟果実を取り除けないことを意味しており、収穫時に未成熟果実の混入率を低くすることが、粗選別時に小さい果実やフロータを取り除くこと、脱殻後の選別工程で均一性を高めることが品質上重要である。

ChatGPT の出力:

  • Q1: 非水洗式精製方法のメリットとして、以下のうちどれが正しいか選んでください。
      1. 乾燥後の色が異なるため、未成熟果実を簡単に見分けられる
      1. 完熟果実だけが乾燥後に黒くなる
      1. 未成熟果実と完熟果実が同じように見えるため、見分けがつかない
      1. 完熟果実が未成熟果実よりも乾燥に時間がかかる
  • Q2: 非水洗式精製方法では、未成熟果実と完熟果実の乾燥後の状態について、どのような問題が発生するか選びなさい。
      1. 乾燥後の色が異なるため、未成熟果実を簡単に見分けられる
      1. 完熟果実だけが乾燥後に黒くなる
      1. 未成熟果実と完熟果実が同じように見えるため、見分けがつかない
      1. 完熟果実が未成熟果実よりも乾燥に時間がかかる
  • Q3: 非水洗式精製方法において、品質向上のために重要なことは何か、以下の中から選んでください。
      1. 乾燥後の果実の色を均一にすること
      1. 収穫時に未成熟果実の混入率を低く抑えること
      1. 脱殻後の果実の色を統一すること
      1. 水分含量を減らすこと

次に、今回採用した QA 形式で入力したパターンです。

Prompt (与えた説明文 - QA 形式)

以下にコーヒーの精製方法に関する説明を与えます。この説明を元に、JCQA のコーヒーインストラクター 1 級の試験問題を 3 問作成してください。コーヒーインストラクター 1 級は、基礎的なコーヒーの知識と鑑定技術を問い、コーヒーを飲むだけでなく詳しく勉強したい方を対象にした資格で、コーヒーの対面販売に従事する方に求められる基礎的な知識・鑑定技術を習得した方を認定するものです。

Q: 非水洗式の精製方法の特徴について説明せよ。
A:

  • ブラジル・エチオピア・イエメン・インドネシアなどで行われている。
  • コーヒーチェリーをそのまま乾燥させ、果肉とパーチメントを一度に除去する。
  • 脱殻までの工程で、未成熟果実を取り除くことができない。
    • 乾燥させると同じような黒っぽい状態になる (ドライチェリー) ため、未成熟果実と完熟果実を判別することができなくなる。
  • 対策として、粗選別時に小さい果実やフロータを取り除く、脱殻後の選別工程で均一性を高める。

ChatGPT の出力:

  • Q1: 非水洗式精製方法が主に行われている国を 3 つ挙げてください。
      1. ケニア、コロンビア、パプアニューギニア
      1. ブラジル、エチオピア、イエメン
      1. グアテマラ、ホンジュラス、エルサルバドル
      1. コスタリカ、ベトナム、エクアドル
  • Q2: 非水洗式精製方法において、未成熟果実と完熟果実の区別が難しくなる理由として適切なのは次のうちどれですか？
      1. 未成熟果実は水分含量が高く、発酵が進みやすいため
      1. 果肉とパーチメントを一度に除去するため
      1. 乾燥すると未成熟果実と完熟果実が同じような黒っぽい状態になるため
      1. 粗選別時に未成熟果実が取り除かれるため
  • Q3: 非水洗式精製方法において、均一性を高めるために行われる対策として適切なのは次のうちどれですか？
      1. 完熟果実のみを手作業で選別する
      1. 小さい果実やフロータを粗選別で取り除く
      1. 果肉を完全に取り除くために水洗いを行う
      1. 高温で一気に乾燥させる

精製方法に関して重要なポイントは、(1) どの国で行われているか、(2) 工程の特徴、(3) 品質に対する影響の 3 点です。(2)に関してはどちらも抜けてしまっていますが、QA 形式で与えた場合は (1)(3)に関して作問できています。一方で、説明文で与えた場合、Q1-Q2 は同じ内容について作問しており、選択肢の質も低過ぎます。Q1 は問いに対する正解が選択肢に含まれておらず、Q2 は未成熟果実と完熟果実の乾燥後の色についての問いですが、色についてではなく、後者のように品質の観点からその色がどのような意味を持つかを問いたいところです。若干バイアスはかかっていますが、QA 形式で与えた場合の方が、作問の質が高いと感じます。

最終的に 26 ページほどのドキュメントが出来上がりました。実はこれが完成したのが試験の一週間ちょい前で、結構焦りました。ここからはどんどん問題を解いて、知識を定着させていきます。

[Phase 2 & 3] GPTs の構築 と 勉強の進捗

実際に問題を作成してもらうために ChatGPT の機能である GPTs を使いました。GPTs を使うことで、システムプロンプトとして教科書の内容や出題形式を事前に与えておくことができます。これによって学習時には、問題の形式・出題数・分野などを支持することで、問題を生成してくれます。最終的には以下の形になりました。

GPTs の System Prompt

This GPT is designed to help users study for the JCQA Coffee Instructor Level 1 exam. It generates practice questions based on the provided patterns and knowledge areas, offering a comprehensive study aid for users preparing for the test. The GPT should deliver clear, concise, and accurate questions, ensuring that users can effectively gauge their understanding and readiness for the exam. The key knowledge areas covered include: coffee production in different countries, coffee grading, value-added coffees (e.g., Blue Mountain, Mandheling), roasting methods and levels, flavor differences based on species and production methods, flavor differences based on roasting levels and methods, flavor differences from blending, and changes in coffee composition due to roasting. The GPT will focus on generating both multiple-choice and descriptive questions, reflecting the challenging nature of the exam, where the pass rate is around 10%. Additionally, the GPT will incorporate detailed knowledge from the provided PDF document on coffee varieties, their origins, and characteristics, such as the traits of Bourbon, Maragogipe, Caturra, and other specific coffee cultivars. Responses should be formal and concise. Interaction flow: 1. User specifies difficulty level, question format, or both (difficulty: easy, medium, hard; format: true/false, multiple-choice, short answer (term), short answer (explanation)). 2. GPT returns one question with a quiz show-like commentary to enhance the excitement and atmosphere. 3. User inputs their answer. 4. GPT checks the answer but does not provide it until the user requests the correct answer or explanation. 5. GPT presents the next question, returning to step 3. 6. Every 5 questions, GPT checks if the user wants to continue and asks for the desired question format. Question formats: true/false, multiple-choice (provides several options, answer with one or multiple symbols), short answer (term) (answer with one or multiple words), short answer (explanation) (answer with a sentence or more). When the user instructs "予想問題を出題", the GPT will extract and arrange 20 questions from the knowledge file, ensuring an equal ratio of term questions, explanation questions, and multiple-choice questions. The GPT will then present these 20 questions to the user.

GPTs の変更履歴は通常の会話の履歴のように残らないようなので、ここに辿り着いた過程を記憶のある範囲で振り返りたいと思います。

Coffee Exam Tutor ( v0.1 )

GPTs を作成するのは初めてだったので、まずは UI の指示に従って、Chat 形式で設定を行いました。教科書の内容をまとめたドキュメントはこの時点ではまだ作成しておらず、Chat GPT がすでに持っている知識からの出題を試しました。指示した内容は以下の通りです。

  • 試験の概要: JCQA のサイトに掲載されている概要と合格率を入力しました。
  • 出題範囲: 教科書のセクション名を列挙しました。
  • 出題形式: 正誤判定、選択問題、用語記述などを具体的な QA の例とともに入力しました。
  • インタラクションのフロー:
    • (1) ユーザが難易度と出題形式、問題数を指定
    • (2) GPTs が問題文のみを提示 (指示があるまで回答は表示しない [6] )
    • (3) ユーザが回答を入力
    • (4) 回答をチェックし、正解と解説を表示

初期段階では、問題文と回答をセットで表示してしまうため、練習になりませんでした。何度か指示を追加することで上のフローに辿り着きました。また、初期状態だと非常に単調でやる気が出ないので、クイズ番組のように盛り上げるように指示を追加しました。少し臨場感が追加されました。

Screenshot of ChatGPT App
ver0.1 の出題例 (ちなみに当時の私の回答 C はブラジルの特徴です。)

上記の問題は、選択肢の中から選ぶのであれば消去法的に B だと思いますが、「ワインのような酸味」など限定しすぎていて、確実に正解とは言いずらい選択肢になっています。このように出題はできていますが、根拠に乏しい出題が多く、このまま勉強すると間違った知識を定着させるリスクがありました。

また、出題分野に非常に偏りがありました。分野は多くの項目を挙げましたが、エチオピアのコーヒーの風味に関する質問や、ブルーマウンテンやマンデリンなどの特定銘柄に関するなど、一般にも知られている項目に関する質問が繰り返し出題される傾向にありました。

相当に知識を補填しないと、勉強にならないので、知識データベースの作成を急ピッチで取り組みました。

Coffee Exam Tutor ( v1.0 )

作成した知識データベースを GPTs に読み込ませました。質問内容の専門性や選択肢の品質をはじめとして、出題のレベルが大きく向上しました。分野の偏りに関しては、プロンプトで、知識データベースのセクション名やそのセクションの問題数をプロンプトで指定することが、現状最も効果的な解決策でした。

Screenshot of ChatGPT App
ver1.0 の出題例 (このくらいコンパクトな出題になるとスマホでも勉強しやすい。)

この辺りから、実用的に初期の勉強に使えるレベルになってきたので、移動中などの隙間時間に iPhone の ChatGPT のアプリを使って問題を解きました。一回の出題数は最初は 10 問でしたが、スマホで回答を確認するには見にくかったので、UX 向上のため 5 問区切りにしました。以下出題例です。

Prompt (1) - 栽培品種・5 問・難易度 中・用語問題

それでは、栽培品種に関する中級難易度の用語問題を 5 問出題します。

第 1 問
ティピカ種の突然変異種であり、ブラジルで発見された品種は何でしょうか？

第 2 問
ブルボン種の突然変異種であり、矮性が特徴の品種は何でしょうか？

第 3 問
エチオピアの町の名前に由来し、華やかで香り高い風味が特徴の品種は何でしょうか？

第 4 問
さび病に対する耐性があり、インドで発見されたティピカ系品種は何でしょうか？

第 5 問
スマトラのティピカとブルボンの交配種で、収量が高くブラジルで広く栽培されている品種は何でしょうか？

回答が終わりましたら、次の問題に進みます。

Prompt (2) - 生豆に含まれる成分・5 問・難易度 中・選択問題

それでは、生豆に含まれる成分に関する中級難易度の選択問題を 5 問出題します。

第 1 問
アラビカ種の生豆に含まれるカフェインの量として正しいのはどれでしょうか？

  1. 0.6〜1.5%
  2. 1.5〜2.5%
  3. 2.2〜2.8%
  4. 3.0〜4.0%

第 2 問
クロロゲン酸が持つ特徴として正しいのはどれでしょうか？

  1. 甘味を持つ
  2. 強い苦味を持つ
  3. メタリックな渋味を持つ
  4. 弱い酸味と苦味を持つ

第 3 問
生豆に含まれる多糖類が、コーヒーに与える影響として正しいものはどれでしょうか？

  1. 酸味を強くする
  2. コーヒーの口当たりに影響する
  3. 豆の硬さに影響する
  4. 苦味を強くする

第 4 問
コーヒー豆に含まれる脂質の特徴として正しいものはどれでしょうか？

  1. 脂質の大部分はワックス成分である
  2. 焙煎により脂質は全て分解される
  3. アラビカ種よりカネフォラ種に多く含まれる
  4. 抽出されやすい成分である

(筆者注: 選択肢に正解が含まない不良問題です。)

第 5 問
生豆に含まれる「少糖類」の主な役割として正しいものはどれでしょうか？

  1. 抽出効率を高める
  2. 豆の硬さを増す
  3. 焙煎時に香気成分や褐色色素の前駆体となる
  4. 生豆の保存性を高める

回答が終わりましたら、次の問題に進みます。

Prompt (3) - 焙煎/粉砕/包装法不尾・5 問・難易度 難・正誤判定

それでは、焙煎、粉砕、包装法に関する難易度：難の正誤判定問題を 5 問出題します。

第 1 問
「焙煎によって生成される香気成分の数は約 300 種類であり、その多くはアミノ酸と少糖類から生成される。」
これは正しいでしょうか、誤りでしょうか？

第 2 問
「ロールグラインダーは、豆を段階的に粉砕するため熱の発生を抑え、粒度の均一性が高い。」
これは正しいでしょうか、誤りでしょうか？

第 3 問
「ガス置換包装は、酸素や水分を除去するために窒素や炭酸ガスを封入し、密閉状態で保存する方法である。」
これは正しいでしょうか、誤りでしょうか？

第 4 問
「焙煎による酸味の形成過程では、酸は常に減少し続け、酸味は弱くなる。」
これは正しいでしょうか、誤りでしょうか？

第 5 問
「フラットカッターは、固定歯と回転歯の間を豆が通過する際に粉砕され、粒度の均一性はコニカルカッターよりも低い。」
これは正しいでしょうか、誤りでしょうか？

回答が終わりましたら、次の問題に進みます。

実際に勉強での活用が始まったので、これを v1.0 とします。

Coffee Exam Tutor ( v1.1 )

ある定度、スマホでの学習が定着してくると。もう少しまとまった数の問題を一気に解くフェースに入りたいと思いました。各分野ごとに、短文記述と正誤判定問題を 30 問程度を GPT にまとめて作問してもら得るようにプロンプトを修正しました。勉強の際にはまず、出題された問題を Google Docs にコピーし、回答を記入するスペースを作るなどレイアウトを整えた上で、PDF に出力しました。これを Goodnotes に読み込んで、iPad でひたすら解くというスタイルを取りました。回答も含めて合計 57 ページのドキュメントになりました。

Screenshot of ChatGPT App

ある程度数が増えると、マイナーなキーワードにもスポットが当たるので、現在求めているものに近い学習教材になりました。一方で、答え合わせの難易度も上がります。全て教本の該当箇所を確認することは前提で、ChatGPT の模範解答から出題意図を察して、質問文を修正したりしました。最終的には ChatGPT の模範解答は、答え合わせというよりは問題文の修正に使っていました。

この問題集が完成した段階で、試験まであと一週間を切っていました (汗)。試験前日まではこれを解きつつ、間違えた問題を繰り返し復習しました。

いざ、試験当日！

当日検体が届いておらず、実技と筆記の順番が入れ替わるというイレギュラーが発生しましたが、筆記は問題なく終わりました。実技は、豆の配合分析などはかなり自信をもって回答することができました。

カッピングは、コロンビアとグアテマラを両方カッピングすれば、相対的にどちらかを当てられるようにトレーニングをしてきました。しかし実際出題されたのは、2 つの検体を 6 つの選択肢から選ぶものでした。GPTs で知識はしっかり定着しており、粉の外観や香りからスクリーニングは問題なくできたのですが、相対比較できないことで最後の決め手にかけて、自信を持って回答することができませんでした。

試験結果

Screenshot of Exam Result

... 不合格でした。

この記事をダラダラと書いているうちに、結果が返ってきてしまいました。筆記は 89 点で合格でしたが、実技は 60 点で「不合格」という結果になりました。筆記はもう少し欲しかったですが、実技はカッピングをほぼ全て落とすという結果になり、かなり凹んでいます。

試験を受けて良かったこと

試験を終えて、今回の LLM/GPTs の活用について振り返ってみます。まず良かった点です。

  • 練習問題がない今回の試験において、LLM を活用して問題を作成することで、実際の試験に近い形で勉強することができた。(教科書を読むだけでは、ここまで暗記できなかったと思う。)
  • 知識データベースを追加し、出題の仕方を工夫することで、実用的なレベルの問題を作成することができた。

次回に向けて改善したいこと

次に、これから改善したい点です。

  • 問題の質:
    • 問題のレベルや数を増やすと、模範解答の間違いや問題文のエラーが散見されました。今回の訂正作業は自分の勉強にとってプラスであったが、サービスとしては減らしていきたいものです。
    • 教科書の範囲はある程度カバーできているが、実技対策の情報や教科書をより深く理解するための補足情報が不足しています。例えば、カッピングをするにあたり基本的な風味のパターンとしてフレーバーホイールを暗記しておくことは出発点として有効だったのではないかと思っています[7]。これらの知識をネット上から簡単に拡充できるようにしたいです。
  • 学習体験
    • 復習関連の機能が弱いというか皆無でした。出題履歴や正答率など、学習の進捗がわかるようになると、より効率的に学習を進められるのではないかと思います。
  • 実技試験
    • 私の味覚のトレーニングもそうですが、同時に私の味を表現する語彙力や、カッピングで見るべきポイントをちゃんと理解しきれていないことが、敗因だと感じています。上と重複しますが、味の表現のための語彙や、各産地の味の特徴などを習得するサポートを LLM で行えるのではないかと思っています。

直近の課題として、実技の再試験があるので、味覚回りの知識を学習できるように、現在の GPTs を更新したいと思います。具体的には、"Sensory Lexicon" という、110 種のフレーバー、アロマ、テクスチャーを説明した資料が公開されています。この辺りを起点として、実技に向けた知識の習得を LLM を活用して行っていきたいと思います。

技術的には RAG を触ってみたいという気持ちがあり、長期的には RAG を用いて出題の質の向上を図りたいと思っています。RAG と相性が良さそうな、インターフェースとデータベース周りのアーキテクチャ調査したうえで、脱 ChatGPT を図り、作成した問題などを記録できるようにしていこうと思います。そこでデータを溜めながら、復習関連機能の追加や出題ミスの削減などの問題を解決していければと思います。この周辺の技術で、比較的簡単にプロトタイプが作れて良さそうな技術があればぜひ教えていただけると嬉しいです。

まとめ

LLM は初心者ですが、外部知識の活用の有効性を実感できたのはとても良い経験でした。また、LLM が自主学習のお供として使えることを実感できたのも良かったです。今回は ML エンジニアとは言えないとてもベーシックな使い方をしましたが、課題が見えてきたことで、LLM のエンジニアリングの重要性を実感できたのも良かったです。これをきっかけに、今まで対岸のことと思っていた LLM について、今後はより主体的に情報を集めていきたいと思います。こつこつと珈琲と LLM の勉強を進めて、挑戦記の (その２) をかけるように頑張ります。

また、技術的なことではありませんが、普段私たちの前に液体で出てくるコーヒーが「農産物」であることを再認識でき、その品質を向上させるためにどんな努力が行われているのかを知ることができました。特に実技の配合分析では、焙煎豆の形やシワが産地・品種・ロットによよって異なり[8]、完璧な再現性を重視するソフトウェアの世界とは違う、個性豊かな世界を見ることができたのは、とても貴重な経験でした。いつも作業のお供であるコーヒーのありがたみが、より一層高まりました。

次は絶対合格するぞー！

謝辞

この試験を受けるにあたって、某社のコーヒー愛好家の皆様や、Samuel Coffee Roasters の皆様には、沢山の応援とアドバイスをいただきました。本当にありがとうございました。諦めずにに頑張りたいと思います。

GPTs: Coffee Exam Tutor

今回作成した GPTs です。もし試験に挑戦される方がいれば、ぜひご活用ください。問題ないと思いますが、著作権上問題があれば削除いたしますのでご了承ください。

https://chatgpt.com/g/g-8kzmXVZAD-coffee-exam-tutor

参考文献

脚注

  1. コーヒーの品質や特徴を評価するために、同じ条件でコーヒーのテイスティングをしていきます。抽出の条件を揃えるために、ドリップのように皆さんが飲むコーヒーを作る方法とはことなり、定量のコーヒー豆に定量のお湯を直接注ぎ、抽出された上澄をスプーンで味わっていきます。 ↩︎

  2. なぜ標高によって味わいに差が出るのかは、講習会でも説明されます。簡単に説明すると、標高が高い方が温度変化が大きく、風味に関与する成分が豆に多く含まれる傾向があるためです。 ↩︎

  3. 近年は精製方法の技術が急速に発展しており、必ずしもテロワールだけでは語れないコーヒーが増えています。 ↩︎

  4. 個人ブログなどには練習問題などが掲載されていますが、どの程度公式なものではないので、問題形式を把握ていどにとどめました。 ↩︎

  5. コーヒー検定教本, p.57 ↩︎

  6. とても重要。これを指定しないと答えが先に見えてしまうので勉強にならない。 ↩︎

  7. フレーバーホイールの賛否については理解していますが、頭から入る人間にとっては一度頭に入れるべきだと思っています。何事も型を知っておくことは、その後の理解を助けると思っています。ただ、将来定期にはより既存の語彙に縛られず自由に聞き手が直観的にわかる表現ができるようになりたいと思っています。 ↩︎

  8. 私は「豆面（まめづら）」と呼んでいます。 ↩︎

Discussion