Aiは機械語でやり取りしたほうが本当は効率がいい？それについて考察。

結論

そんなことはない。

なぜか。

AIは、すべての単語にIDを振り、その単語ごとに意味を割り振って、理解している。
単語ごとに意味を理解するということは、
単語一つ一つに大きな意味がないと学習が非効率になる。

単純な例でいえば、

明日は、雨なので傘がいる。
明日は、晴れなので、散歩が快適そうだ。

のような文章を学習したとき、

「　明　」　の後は、必ず、「　日　」が来る。つまり、100％
「　日　」の後は、「　は、　」が来るのように、100％
これをどれくらいの確率で来るかを一単語ずつ集計することを繰り返し、
次の単語を決定する。

「　なので　」はどちらにも入っているので、
前の文脈を保持している必要がありますね。

文全体で、統計を取る必要がありますが、今回は割愛。

そうすると、雨という単語が出ると、
雨なので傘がいる。が続きとして出力されそうだし、

晴れという単語が出ると、
晴れなので、散歩が快適そうだ。
が出力されそうだ。

例えば、このAIに

明日は、雨

と入力すると、

明日は、雨なので傘がいる。

のように返答する。

何か人っぽいことがこれでもできるわけです。

これがもし、晴れ、雨、に当たる文字が、

sdodfhoasdoolksnbpfnpnpinadpf
と
khnspokdaspolkdhnapiskdnhpasndpa

だとしたらどうだろうか？

どこで区切ればいいかわかりませんし、

一文字当たりの意味がだいぶ薄くなってしまっていますよね。

AIが最も扱いやすいのは、高次元の言語であって、

低次元の言語は、学習しづらいということです。

確率で、次の単語を予測するため、
意味に対しての文字数が多いと、確率が薄まってしまうという問題が発生します。

機械語ですと01しか使用できないので、
一つの意味に対しての文字数が多くなり、
カルピスだとほぼ水になってしまいます。

高次元の定義

youtuberという言葉を例に、
高次元とは何かについて、考えてみます。

youtube というプラットフォーム上で、動画を投稿している人。
動画には、広告が流れ、その収益の一部を還元される。

その収益で生活できている人のことをyoutuberと呼ぶ。

のような定義があったとしましょう。
何だったら、インターネット、見るデバイスの説明までする必要もあるかもしれません。

毎回、誰かに説明するときに、これを説明するでしょうか？

youtuberの -------　さんが、OOOOOO

のようなときに毎回これを説明しますか？

「先ほどの長文の説明」の --------さんが、OOOOOO

とはしませんね。

いや、youtuberといいますよね。

前提知識を埋め込み、圧縮した言葉、これが、高次元な言葉であり、言語なわけです。

こういった言葉は、意味が圧縮されているため、学習に適しているといえます。

なので、よく言われる、

機械が扱いやすいように機械語に翻訳して、LLMに理解させ、また、ほかの言語に翻訳するのようなやり方は、適切ではありません。

定義を上書きし続け、単語に高次元の圧縮をするような言語を作成し、その言語に翻訳し、ほかの言語に再度変換するというやり方のほうが優れていると考えます。

そもそもの機械語というときに話者が使う「機械語」という言葉の意味があいまいで、
LLMにとってわかりやすいような言葉としての機械語という意味なのか、01のほうの機械語なのか、
定義があいまいだなと感じています。

もし、01のほうであれば、逆効果になりますし、
ＬＬＭにとってわかりやすい言葉という意味での機械語であれば、そうだと思いますが、
それを機械語といってしまうのは不適切だなと考えた次第です。