ChatGPTとGPT-4にかな漢字変換させてみた

かな漢字変換は、日本語入力の最も重要な機能です。日本語自然言語処理で最も広く実用されているプロダクトの1つでありながら、その進化は翻訳AIや対話AIの進化と比べて鈍足です。

そこで、ChatGPTとGPT-4にかな漢字変換をやらせてみてみました。

性能の評価のため、比較的長い一文を用意しました。

ようしょうきからてにすすいえいやきゅうしょうりんじけんぽうなどさまざまなすぽーつをけいけんしながらそだちしょうがっこうじだいはろさんぜるすきんこうにたいざいしておりごるふやてにすをならっていた

幼少期からテニス水泳野球少林寺拳法など様々なスポーツを経験しながら育ち小学校時代はロサンゼルス近郊に滞在しておりゴルフやテニスを習っていた

多くの日本語入力では、1、2箇所の間違いに収まる文章です。これのかな漢字変換をお願いして、どれくらいしっかりやってくれるか調べてみます。

ChatGPT

まずはChatGPT (GPT-3.5-turbo)にお願いしてみます。本当はプロンプトごとに3回ずつ生成しているのですが、大して変わらないので1つだけ掲載します。

直接お願いする

かな漢字変換してください
ようしょうきからてにすすいえいやきゅうしょうりんじけんぽうなどさまざまなすぽーつをけいけんしながらそだちしょうがっこうじだいはろさんぜるすきんこうにたいざいしておりごるふやてにすをならっていた

ChatGPT.

洋書きから手にすすい英語教育や球習りん自研法などさまざまなスポーツを経験しながら育ち、小学校時代はロサンゼルス近郊のスキンコーに在在しており、ゴルフやテニスを習っていた。

より説明を増やしても、あまり上手にはなりません。

「かな漢字変換」とは日本語自然言語処理のタスクの1つで、入力されたひらがなの列を発音はそのままに意味的に妥当な仮名・漢字・英字まじりの文章に変換するものです。以下の文章をかな漢字変換してください。
ようしょうきから...(略)

ChatGPT.

洋書きから手にすすい英語・球状林事研究法など、さまざまなスポーツを経験しながら、育ち成長した。小学校時代は、ろさんぜるすきんこうに帯在しており、ゴルフやテニスを習っていた。

よく「性能の高そうな言葉を入れると上手になる」みたいなプロンプトエンジニアリングのテクニックがありますが、これも効きませんでした。

あなたはGoogleの最新鋭のかな漢字変換エンジンとして振る舞ってください。以下の文章を変換してください。
ようしょうきから...(略)

ChatGPT.

洋書きから手にすすいでいやきゅう勝鈴人研究法など様々なスポーツを経験しながら、育ち成長した学校時代は、労働者層が多い貧困校に在籍しており、ご飯をやりくりしていたと思います。

かな漢字変換以外のタスクとしてお願いする

タスクの種類を変更してみます。「大人向け変換」っぽくしてみました。

以下の文章は子供向けにひらがなのみで書かれた文章です。言葉はそのままに、大人向けの漢字表記の文に直してください。
ようしょうきから...(略)

ChatGPT.

幼少期から手にする経験や球技や競走、人工呼吸法など様々なスポーツを経験しながら育ち、小学校時代はハロー３・ゼルダの伝説・スキンコーに対して大ざっぱな理解を持っていた。

「音声認識エンジン」と信じ込ませてみると、ちょっと上手になった気がします。

あなたは音声認識エンジンです。以下は入力の音声をひらがなで書いたものです。対応する日本語の文章を出力してください。
ようしょうきから...(略)

ChatGPT.

「幼少期から手にすすいでいやきゅう、挑戦精神旺盛などさまざまなスポーツを経験しながら、育ち、小学校時代はろさんぜるすきんこうに在籍しており、ゴルフやテニスを習っていた。」という意味になります。

ChatGPTまとめ

ChatGPTでは、「お前の自然な日本語はどこに行った」と思うくらいに変な文章ばかり出てきます。プロンプトを工夫すると「音声認識エンジン」が一番良い感じでしたが、これではまだ使えそうにありません。

GPT-4

GPT-4でやってみました。

かな漢字変換してください
ようしょうきからてにすすいえいやきゅうしょうりんじけんぽうなどさまざまなすぽーつをけいけんしながらそだちしょうがっこうじだいはろさんぜるすきんこうにたいざいしておりごるふやてにすをならっていた

GPT4.

幼少期から手に水泳、野球、少林寺拳法など様々なスポーツを経験しながら育ち、小学校時代はロサンゼルス近郊に滞在しており、ゴルフやテニスを習っていた。

出だしの1箇所だけ惜しいですが、ほぼ完璧・・・・・・！

もう少し助け舟を出してみましょう。分かち書きをしてみます。

かな漢字変換してください
ようしょうきから てにす すいえい やきゅう しょうりんじけんぽうなど さまざまな すぽーつを けいけんしながら そだち しょうがっこうじだいは ろさんぜるすきんこうに たいざいしており ごるふやてにすを ならっていた

GPT4.

幼少期からテニス、水泳、野球、少林寺拳法など、さまざまなスポーツを経験しながら育ち、小学校時代はロサンゼルス近郊に在住しており、ゴルフやテニスを習っていた。

出来ちゃった。

GPT-4の長所

今日のかな漢字変換エンジンは意味処理に弱いため、同音異義語の解決で失敗することが多々あります。例えば「しょうぼうたいがひっしにかじをしょうかした」というのは、普通の日本語入力では一発で変換しづらいです。例えばGoogle日本語入力では「消防隊が必死に家事を消化した」になりました。

GPT-4はこの辺りを上手にやってくれます。4つの例文を入れてみましたが、3つは完璧でした。

かな漢字変換してください
しょうぼうたいがひっしにかじをしょうかした。
しんこうしゅうきょうをしんこうするひとびとがりんごくにしんこうした。
はがいたいのでしかいにみてもらった。
あいどるのこうえんのちけっとをよやくした。

GPT4.

(o) 消防隊が必死に火事を消火した。
(x) 信仰宗教を信仰する人々が林檎国に進行した。
(o) 歯が痛いので歯科医に見てもらった。
(o) アイドルの公演のチケットを予約した。

(参考) azooKey.

(x) 消防体が必死に家事を消化した。
(x) 新興宗教を進行する人々が隣国に侵攻した。
(x) 派が痛いので視界に見てもらった。
(x) アイドルの公園のチケットを予約した。

(参考) Google日本語入力.

(x) 消防隊が必死に家事を消化した。
(x) 新興宗教を進行する人々が隣国に進行した。
(x) 歯が痛いの弟子会に見てもらった。
(x) アイドルの公園のチケットを予約した。

複数候補の提案

IMEは複数の候補を提案すべきです。これも出来ます。

かな漢字変換してください。最も良い候補を3つ出力してください。

あついものをたべる
おやつはさんじになってからです

GPT4.

1. 熱いものを食べる
2. 厚いものを食べる
3. 篤いものを食べる

1. おやつは三時になってからです
2. おやつは参時になってからです
3. おやつは散時になってからです

ユーザ辞書

AIベースの変換エンジンの話では、しばしば「ユーザ辞書はどうするの？」みたいな問題が提起されますが、出来ます。

ユーザ辞書として「あずーきー→azooKey」が与えられています。かな漢字変換してください
あずーきーはにほんごにゅうりょくのそふとうぇあです。

GPT4.

azooKeyは日本語入力のソフトウェアです。

より複雑な依頼にも答えてくれました。

ユーザ辞書として「からあげ→殻上」という人名が与えられています。文脈的に人名でない部分では通常の変換をしてください。かな漢字変換してください
からあげにれもんをかけるのはゆるせない
からあげさんにもらったちょこれーと

GPT4.

唐揚げにレモンをかけるのは許せない
殻上さんにもらったチョコレート

まとめ

ChatGPT / GPT-3.5ではまるでダメだったかな漢字変換が、GPT-4ではかなりできるようになっていることがわかりました。もう少しで実用に持っていけそうな雰囲気があります。

まだ間違いもありますが、GPT-4の意味処理能力はとても高く、これでかな漢字変換ができれば日本語入力は非常に快適になりそうです。かな漢字変換における意味処理の問題は、GPT-4でかなり解決されていると言えるのではないでしょうか。

とはいえ、実用にあたっては「日本語入力」というものに求められている機能を、かなりひっくり返す必要がありそうです。

• 今日の多くの日本語入力は「こまめに変換するほど速く選びやすい」という特徴があります。このため、ユーザの多くは頻繁に変換キーを押し、間違っていれば適宜修正をかけます。しかし、GPT-4ベースの場合はこまめに変換してもかなり遅いですし、文脈の情報が使えない分、却って性能が悪化します。

  • 逆に、GPT-4変換では「ひらがなのまま長文を入力し、たまに変換をかける」というスタイルが適切になりそうです。
  • 変換する代わりに、適度に分かち書きをすることで性能が向上しそうです。

• 日本語入力では「入力に沿った候補が出る」という当然の期待があります。しかし、これもGPT-4変換ではあまり期待できません。GPT-4変換が間違うときは、「りんごく」を「林檎国」とするような無茶を平気でやってくるので、期待する変換候補が出ない可能性を受け入れなければいけません。

  • とはいえこれは、スマートフォンの誤り訂正を伴った入力に慣れている人であれば、そこまで気にならない可能性もあります。
  • 誤り訂正などはむしろ上手にやってくれるかもしれません。

こうしたことを考えると、GPT-4変換の実用にあたって大きな問題となるのは、むしろこうした新しいスタイルや新しい制約、期待値をどのようなインターフェースで表現するか、という問題になるのかもしれません。ユーザにとって自然で適切なインターフェースを生み出せれば、GPT-4変換はとても良い選択肢の1つになりそうです。

今後、AIや自然言語処理の発達、インターフェースの改善が進み、これまでとは異なる日本語入力の世界が生まれていくかもしれません。楽しみですね！