📑

【先読み】GPT-4のリリース情報

2022/06/17に公開

自然言語処理

はじめに

GPT-3はみなさん使ったことありますでしょうか？

僕も以前少し使ってみましたが、当時は「事前学習モデルだけでここまで精度よく推論できるのか」と驚きました。

GPT-3はOpenAIが開発したモデルで、「GPT」から始まり「GPT-2」、「GPT-3」とバージョンが上がるごとに進化しています。
「GPT-2」時点で「危険すぎるAI」と呼ばれていましたが、GPT-3で格段に進化しており、とくに文章生成タスクに関しては、まったく人間が作った文章と違和感のない文章が生成できます。

でも、GPT-3を使って何か実用化できるかというと、「面白いけど、役に立つかというとあまりいい使い道が無いなー」という状態でした。
GPTからGPT-2、GPT-3とバージョンアップしてきた経緯を考えると、「きっと近いうちにGPT-4が出て実用的な使い道が見つかるはず」と期待して待つことにしました。

まだまだ明確な情報はほとんど無いですが、そろそろ少しずつGPT-4の噂が出てきましたので、一度まとめてみました。

	発表年	パラメータ数
GPT	20??年	1億1700万個
GPT-2	2019年	15億個
GPT-3	2020年	1,750億個
GPT-4	2022年(予定)	？？？個

GPT-4について

出典

GPT-4 Is Coming Soon. Here’s What We Know About It

GPT-4: The new lanugage model by OpenAI

リリース日

2022年度7月、8月ごろを予想。

モデルサイズ

おそらくGPT-3からGopherの間くらい。(175B～280B)
GPT-2からGPT-3への流れを考えると、さらに途方もないパラメータ数になるかと思いましたが、そうでもないようです。
GPT-3を少し大きい程度になると予想されています。

近年の動向は、モデルが大きい＝良いモデル　というわけではなさそうです。

テキストのみの対応

ディープラーニングの未来は、マルチモーダルモデルです。
この世界がマルチモーダルなために、人間もそれに適応していますが、AIではまだ課題がありそうです。
それよりもテキスト情報だけを扱う方が、現時点のAIにとっては現実的ということでしょう。
DALL-E、MUMのようなマルチモーダルモデルにはならないだろうとの予測です。

GPT-4の潜在的なリスク

誤った情報
人間よりも短時間で大量のコンテンツを生み出せるため、今まで以上にフェイクニュースが問題に。
倫理と規制
倫理的側面はまだ明確に議論・研究されていません。さらに、言語モデルとAIの進化により、多くの企業は、利益を優先して開発を加速するようになっています。
スパムの問題
Google、YouTube、その他のソーシャルメディアサイトでは広告や人気で収益化できるため、GPT-4を使用してコンテンツを大量生産したいという誘惑が出てくるかも。

GPT-4と将来

今のGPT-3でも、AIテキストと人間のコンテンツを区別することが困難ですが、GPT-4の登場でよりいっそう困難となりそうですね。
短時間で多くのコンテンツを生み出すことができるので、利益を得るために企業での活用が進むかもしれません。

まとめ

まだ噂レベルの情報しかなかったですが、GPT-3よりもすごいものは登場しそうです。
2022年7月、8月ごろリリースのようで、GPT-3のように期間限定で無償利用できるものなのかどうかもまだわかりませんが、リリースを楽しみに待とうと思います。