このチャプターの目次
はじめに
GPT-3やGPT-3.5といった言語モデルは、OpenAIが開発した大規模言語モデルでした。これらのモデルは、ネット上の膨大なデータを学習していますが、学習データの多くは「英語」のデータと言われています。当然、日本語よりも圧倒的に多く、言語モデルの精度も日本語と英語では圧倒的な差があります。また、文章生成の速度も英語に歩があります。
日本語と英語の差を埋めるアプローチ
meboには、ユーザーの日本語の発話を一回英語に翻訳し、AIによる応答を生成する機能があります。
この機能を利用する場合は、meboコンソールの、「エージェントの設定」配下にある「AIによる応答の設定」をご確認ください。
この機能を利用すると、内部で翻訳が走り、応答が生成されるようになります。AIの応答は再度日本語に翻訳されてユーザーに表示されます。上記スクショの注意書きにもある通り、翻訳を介すので、若干応答に違和感が出ることがあります。キャラクター性を保ちたい場合等には不適切です。また、日本語独特のドメインには対応できない課題もあります。しかし、一般的な会話の精度や応答速度に改善が見込めるので、ユースケースによっては良い選択肢になるでしょう。
まとめ
現状は、英語ファーストな言語モデルを使う必要がありますが、どうしても日本語は不利な状況です。上記のようなアプローチも完全ではなく、翻訳のコストもかかるため、日本語はそういった意味でも不利です。そんな中、日本語の大規模言語モデルが開発をされている話が少しずつ増えてきています。
日本でも大規模言語モデルの開発が盛り上がることで、こういった状況は変わってくるものと考えられます。英語翻訳のようなアプローチも意識しつつ、日本語特化のモデルの動向も探っていきたいですね。