Claude 3 の優れた日本語性能 - 文学作品の翻訳タスク

はじめに

Anthropic社のClaude 3は、OpenAIのGPT-4と比べて、日本語出力の性能が優れているとよく言われています。今回は、一つの文学作品の翻訳タスクを例にして、Claude 3とGPT-4の日本語性能を比較してみました。（出力結果をそのまま貼るだけですが）

検証例

日本語性能をわかりやすく見るために文学作品の翻訳をやらせてみました。
このタスクで、試したものの中では比較的にわかりやすく、日本語の出力の違いが出る例かと思います。

プロンプト

下記の文章を自然な日本語に翻訳してください。
YOUTH
Youth is not a time of life; it is a state of mind; it is not a matter of rosy cheeks, red lips and supple knees; it is a matter of the will, a quality of the imagination, a vigor of the emotions; it is the freshness of the deep springs of life.
Youth means a temperamental predominance of courage over timidity of the appetite, for adventure over the love of ease. This often exists in a man of sixty more than a body of twenty. Nobody grows old merely by a number of years. We grow old by deserting our ideals.
Years may wrinkle the skin, but to give up enthusiasm wrinkles the soul. Worry, fear, self-distrust bows the heart and turns the spirit back to dust.
Whether sixty or sixteen, there is in every human being's heart the lure of wonder, the unfailing child-like appetite of what's next, and the joy of the game of living. In the center of your heart and my heart there is a wireless station; so long as it receives messages of beauty, hope, cheer, courage and power from men and from the Infinite, so long are you young.
When the aerials are down, and your spirit is covered with snows of cynicism and the ice of pessimism, then you are grown old, even at twenty, but as long as your aerials are up, to catch the waves of optimism, there is hope you may die young at eighty.

出力結果

Claude 3 Opus

青春

青春とは人生の一時期ではない。それは心の状態なのだ。青春とは、頬のばら色や、赤い唇、しなやかな膝ではない。それは意志の問題であり、想像力の質であり、感情の力強さなのだ。それは人生の深淵から湧き出る泉の新鮮さなのである。

青春とは、臆病さよりも勇気を、安楽への愛着よりも冒険への欲求を優先する気質を意味する。これは、20歳の体よりも60歳の男性に存在することが多い。誰も単に年数を重ねただけでは老いることはない。私たちが老いるのは、理想を捨てるからだ。

歳月は肌にしわを寄せるかもしれないが、情熱を捨てることは魂にしわを寄せる。心配、恐れ、自信のなさは、心を曲げ、精神を元の塵に戻してしまう。

60歳であろうと16歳であろうと、すべての人間の心の中には、驚きへの誘惑、次は何かという尽きることのない子供のような欲求、そして生きることの喜びがある。あなたの心の中心にも、私の心の中心にも、無線局がある。その局が、人間から、そして無限から、美しさ、希望、励まし、勇気、力のメッセージを受信し続ける限り、あなたは若いのだ。

アンテナが下りて、あなたの精神が皮肉の雪と悲観主義の氷で覆われたとき、たとえ20歳であっても、あなたは老いてしまったのだ。しかし、楽観主義の波をキャッチするためにアンテナを上げている限り、80歳で若くして死ぬ希望があるのだ。

GPT-4-turbo

青春

青春とは人生の一時期ではなく、心の状態です。それは、ほおの赤みや赤い唇、しなやかな膝ということではなく、意志の問題、想像力の質、感情の活力であり、人生の深い泉の新鮮さです。

青春とは、冒険への食欲が安逸への愛よりも勇気が臆病さを上回る気質的な優位性を意味します。これは、しばしば二十歳の体よりも六十歳の男性により多く存在します。誰もが年齢の数だけで老いるわけではありません。私たちが理想を見失うことで老いていきます。

年月は肌にしわをもたらすかもしれませんが、熱意を放棄することが魂にしわを寄せます。心配、恐怖、自己不信は心を屈服させ、精神をほこりへと戻します。

六十歳であろうと十六歳であろうと、すべての人間の心には驚異への誘いがあり、次に何が起こるのかに対する不変の子供のような食欲と、生きるゲームの喜びがあります。あなたの心と私の心の中心には無線局があり、それが美、希望、元気、勇気、そして人々や無限からの力のメッセージを受信し続ける限り、あなたは若いままです。

アンテナが倒れ、あなたの精神が懐疑主義の雪と悲観主義の氷で覆われたとき、たとえ二十歳であってもあなたは老いています。しかし、あなたのアンテナが立っていて、楽観主義の波をキャッチし続ける限り、八十歳で若く死ぬ希望があります。

Claude 3 Sonnet

青春

青春とは、人生の一時期ではなく、心の状態なのです。赤い頬と唇、そして柔らかい膝ではなく、意志の問題、想像力の問題、情熱的な問題なのです。それは人生の根源的な新鮮さなのです。

青春とは、臆病さよりも勇気が、そして安住よりも冒険心が優位を占める気質のことです。このような状態は60歳の男性のほうが、20歳の若者よりも存在することがあります。年齢を重ねただけで年を取るわけではありません。私たちが理想を捨てるときに年を重ねるのです。

年月は肌に しわを刻むかもしれませんが、情熱を失うことで魂に しわが寄ります。心配、恐れ、自信のなさが心を曲げ、精神を塵に帰らせてしまいます。

16歳であれ60歳であれ、すべての人の心の中には、不思議への憧れ、次は何があるかという子供のような食欲、そして生きる喜びのゲームがあります。あなたの心とわたしの心の中心には無線基地があり、美しさ、希望、勇気、力の メッセージを他者や無限なるものから受信している限り、あなたは若いのです。

アンテナが落ちて、あなたの精神がシニシズムの雪と悲観主義の氷に覆われたなら、たとえ20歳であっても老いを迎えます。しかし、楽観主義の波を受信するアンテナがあがっている限り、80歳で若くして死ぬ希望があるのです。

Claude 3 Haiku

以下の通り、自然な日本語に翻訳しました。

青春

青春とは人生の時期ではなく、心の状態です。赤い頬や赤い唇、柔らかな膝のことではありません。青春とは意志の力、想像力の質、感情の活力のことです。青春とは人生の根源的な新鮮さのことなのです。

青春とは、勇気が恐れに勝り、冒険が楽な生活を愛するよりも優る気質的な優位性のことです。これは20歳代よりも60歳代の人にこそ存在することがあります。年齢だけで老いるわけではありません。理想を捨てることで老いるのです。

年月は肌に皺を寄せますが、熱意を捨てることで魂に皺が寄せられます。心配、恐れ、自己不信は心を曲げ、精神を塵に返します。

60歳であれ16歳であれ、すべての人の心の奥底にある驚きの誘惑、絶えることのない子供のような好奇心、そして人生を生き抜く喜びがあります。あなたの心の中心にも、私の心の中心にも無線局があるのです。人や無限の存在から美しさ、希望、勇気、力の情報を受け取り続ける限り、あなたは若々しいのです。

あなたの受信アンテナが下ろされ、あなたの精神が失望と悲観の雪に覆われたなら、たとえ20歳でも老いぼれています。しかし、あなたの受信アンテナが張られ、楽観の波を受け取り続ける限り、80歳になっても若々しく死ぬことができるのです。

GPT-3.5-turbo

若さ

若さとは、年齢の時期ではなく、心の状態であり、頬のピンクや赤い唇、柔軟な膝の問題ではない。それは意志の問題であり、想像力の質であり、感情の活力である。それは生命の奥深い泉の新鮮さです。

若さとは、臆病さよりも勇気の気性の優位性を意味し、快適さへの愛よりも冒険への欲望です。これはしばしば、20歳の身体よりも60歳の男に存在します。私たちは年の数だけで老いるのではありません。理想を捨てることによって老いるのです。

歳月は肌をしわだらけにするかもしれませんが、熱意を捨てることが魂をしわだらけにします。心配や恐れ、自己不信は心をかがめ、精神を塵に戻します。

60歳でも16歳でも、すべての人の心には驚きの誘惑があります。次に何が起こるかに対する不変の子供のような欲求、そして生きる喜びがあります。あなたの心と私の心の中心には無線局があります。それが美しさ、希望、元気、勇気、そして無限からのメッセージを受け取る限り、あなたは若いのです。

アンテナが倒れ、あなたの精神が皮肉の雪や悲観主義の氷で覆われているとき、あなたは20歳でも年老いたものです。しかし、アンテナが立って楽観主義の波を捉える限り、80歳で若く死ぬ可能性があります。

終わりに

実際の良し悪しは人によって判断が異なるかもしれませんが、この例において、比較的シンプルなプロンプトでもClaude 3は明らかに文学性を含めて翻訳できて優れた日本語性能を発揮できたのではないでしょうか。

主にGPT-4-turboとClaude 3 Opusの出力結果を比較するため試してみましたが、Claude 3 Sonnet、Claude 3 Haiku、GPT-3.5-turboの出力結果も併せて掲載しています。

一つの例でモデルの性能を判断することができないので、あくまでも一例として掲載させていただきますが、ご参考になれますと幸いです。