ChatGPTは昨年末の登場から2023年1月には史上最速で1億アクティブユーザーを獲得したようです。現時点で9歳の子どもと同レベルに心情を読み取ることができ、大学院試験も突破できる性能があります。
ChatGPTは現在GPT-3（3.5）をベースにチューニングされていると言われており、次のバージョンとなるGPT-4はGPT-3よりもはるかに高性能だと噂されています。まだ公式からのコメントはないようなので、執筆時点での噂まわりをざっくりまとめておきました。
1.2023年内にリリース予定
During an interview with StrictlyVC, Altman was asked if GPT-4 will come out in the first quarter or half of the year, as many expect. He responded by offering no certain timeframe. “It’ll come out at some point, when we are confident we can do it safely and responsibly,” he said.
引用：OpenAI CEO Sam Altman on GPT-4: ‘people are begging to be disappointed and they will be’ - THE VERGE
一般的に2023年内にリリース予定と噂されています。一部では2023年2月中にリリースされると言われてましたが、まだ時間がかかるようです。OpenAIのCEOは時期が来たら...といった感じです。
ChatGPTが世界中から注目されたことで検証すべき要件が増えて時間かかるかもですが、ぜひ早く試してみたいですね。
2.β版はすでに完成している
2022年8月時点でGPT-4のβ版の検証が既に行われているようです。β版の利用者は、かなり大きな性能の飛躍を感じていると発言しています。（多くの場合、β版利用者の知人の証言）
参考：GPT-4 Rumors From Silicon Valley - The Algorithmic Bridge
3.参照パラメータ数がGPT-3の100倍
In an August 2021 interview with Wired, Andrew Feldman, founder and CEO of Cerebras, a company that partners with OpenAI to train the GPT model, mentioned that GPT-4 will be about 100 trillion parameters. It might seem like GPT-4 will be 100x more powerful than GPT-3.
引用：GPT-4: Facts, Rumors and Expectations about next-gen AI model - UX Planet
GPT-3が1750億パラメータであるのに対し、GPT-4は100兆以上のパラメータが存在するようです。パラメータ数は言語モデルの性能を表すことがありますが、多ければ多いほど高性能になるわけでもないようです。
（パラメータ数の明確な定義が見つからなかった）
4.テキストベースのまま
GPT-4 will not add graphics to its capabilities
There had been some speculation that the next evolution of generative AI would involve a combination of the text generation of GPT-3 with the image creation abilities of OpenAI’s other flagship tool, Dall-E 2. This is an exciting idea because it brings the possibility that it would have the ability to turn data into charts, graphics, and other visualizations – functionality missing from GPT-3. However, Altman denied that this is true and said that GPT-4 would remain as a text-only model.
引用：GPT-4 Is Coming – What We Know So Far - Forbes
画像を生成するなど、マルチモーダルな機能は追加されず、テキストベースでの進化をたどると言われています。
5.マルチモーダル機能が搭載される
Second, GPT-4 would be multimodal, accepting text, audio, image, and possibly video inputs. Given the already high ability of language models and this year’s wave of audiovisual generative AI (where there's still so much to explore), it makes sense to continue this venue.
引用：GPT-4 Rumors From Silicon Valley- The Verge
β版利用者の話によるとGPT-4がマルチモーダルになり、テキストだけでなく、画像、音声、動画生成が可能になるようです。
先ほどは、forbes、ここではβ版利用者の証言になります。小さな情報戦が繰り広げられていますね。個人的にはテキストベースのままGPT-4にアップデートする説の方が有力な感じがしています。
6.ウィンドウサイズの拡張
These two DV models are available in two versions: One with around 8,000 tokens of context – which is twice the length of ChatGPT – and one with a massive 32,000 tokens of context. If these numbers are confirmed, it would be a massive leap, so it could be GPT-4 or a direct predecessor. The context length determines the amount of text that a Transformer model like GPT-3 can process in its input, in ChatGPT’s case the content of the current chat.
引用：OpenAI leak gives clue to GPT-4 performance - the decoder
現在、ChatGPTの回答は最大4,096トークンの制限が設けられています。（1トークン0.7単語？）
この制限が8000 ~ 32,000トークン数まで拡張するかもしれません。（課金が必要かも？）
これが実装されるとより複雑なアプリケーションで活用できそうです。
7.コード生成機能が格段に上がる
GPT-4 will be better at generating computer code
引用：GPT-4 Is Coming – What We Know So Far - Forbes
今まで以上にコード生成が得意になるようです。具体的な新機能などはないかもですが、精度が上がるだけでも嬉しいですね。
8.正確性などの向上
Alignment: GPT-4 will be more aligned than GPT-3
OpenAI has put a lot of effort to tackle the AI alignment problem: How to make language models follow our intentions and adhere to our values — whatever that means exactly. It’s not just a difficult problem mathematically (i.e. how can we make AI understand what we want precisely?), but also philosophically (i.e. there isn’t a universal way to make AI aligned with humans, as the variability in human values across groups is huge — and often conflictive).
引用：GPT-4 Is Coming Soon. Here’s What We Know About It - Towards Data Science
より人々の意図に沿った回答がされるよう情報の正確性であったり政治や宗教、哲学、文化など人々の価値観に沿ったレスポンスになるようチューニングされているようです。これには多くの人間の手によるフィードバックが反映されます。
その他
GPT-4の噂はデタラメ
During an interview with StrictlyVC, OpenAI CEO Sam Altman addressed rumors regarding GPT-4. He has no idea when it may become available. He dismissed a viral chart that falsely compares the number of parameters in GPT-3 (175 billion) to GPT-4 (100 trillion), calling it “complete bullshit.” He stated that the rumor mill surrounding GPT-4 is ridiculous, and that people will be disappointed by the hype.
引用：GPT-4 is Still a Rumor - Shelly Palmer
OpenAIのCEOであるSam Altmanはネットに伝染したGPT-4に関する噂話をまったくのデタラメとコメントしています。
ChatGPTとAPIは違う
ChatGPTのAPIとOpenAIのAPI（text-davinci-3モデル）は別物になります。どちらもGPT-3（3.5）ですが、ChatGPTではGPT-3のモデルからチャットに特化するための高度なチューニングな施されています。
ChatGPTとGPT-3のAPIは近いものとして扱われることがありますが、OpenAIのAPIから直接的にAIと会話する機能をつけるのは多少の工夫が必要です。
参考：「ChatGPTのAPI」と「GPT-3のAPI」は同じものなの？違うものなの？について
まとめ
メインな部分はこれくらいですかね。まとめてみると案外少なかったです。OpenAIのAPI少し触ってみたので、その辺も後日記事にしようと思います。
不足および新情報等あったりすると思うので、よかったらコメントで補足お願いします！
Discussion