Big News
GPT-5.5リリース
OpenAIから最新モデルのGPT-5.5がリリースされた。
ChatGPT、Codex、AI browserを1つのサービスに統合したsuperapp構想を意識したモデルとなっている。
前モデルと比べて速度も賢さも向上しており、生成速度はGPT‑5.4と同等だがタスクに必要なトークン数が減っているためタスクを遂行する速度が実質的に向上している（トークン効率が高い）とのこと。
GPT-5.5はGPT-4.5以来のベースモデルの再学習が行われているらしく、事前学習の段階から「ツールの使用」や「推論のステップの計画」を組み込んでいることにより、従来のような後付けの指示（システムプロンプト）に頼らずとも、自律的に動く「エージェンティック」な動作を高精度でできるようになったらしい。
ChatGPT Images 2.0リリース
Xでは多数のユーザーが生成結果を投稿しているがそれらを見る限り生成の精度が格段によくなっていそうだ。
前モデルと比べて日本語の表記崩れが大幅に減少している。（と言うよりもほとんどなさそう）
また定性的だが生成画像の「AI感」みたいなものが大幅に減っているように感じる。
Thinkingが追加されたことが大きな変更点で「ウェブ検索による関連情報の調査」「レイアウト設計」などいくつかステップを踏んでから画像を生成することでクオリティが向上している。
DeepSeek-V4リリース
technical reportのタイトルは「Towards Highly Efficient Million-Token Context Intelligence」だがその名称の通り、長文コンテキストを取り扱うことを意識したモデルとなっている。Claude Opus 3.6、gpt-5.4、Gemini 3.1と同等の性能を持つと説明されている。
DeepSeek-V4-ProとDeepSeek-V4-Flashの2つのモデルがあり基本的にProモデルの方が性能が良いもののreasoning taskにおいてはFlashモデルも引けを取らない性能とのこと。
改善点
Muonオプティマイザの使用
NanoGPT speedrunで提案されたオプティマイザーである。
Adamと比べて学習時のメモリ使用量が少なく、収束スピードが速く、学習が安定しやすい。
直交化した行列で重みを更新することでネットワーク内の各層の出力の分散が保たれやすく、勾配消失や爆発を防ぎながらより効率的な学習が可能になっている。
CSA (Compressed Sparse Attention)とHCA (Heavily Compressed Attention)による計算コスト削減
CSAとHCAを交互に用いることで計算量を抑えながら長いコンテキストを扱えるような仕組みになっている。
CSAでは「複数のトークンのKV情報を1つの新しいKVエントリへと統合することでattention計算で使用される実質的なシーケンス長を大きく削減する」「Lightning Indexerという仕組みを使って、クエリごとに関連性の高い上位k個の圧縮エントリだけを選択してアテンションを計算する」の2つの仕組みを使用してattentionの計算量を削減している。
HCAではCSAよりも強力な(32倍)のトークン圧縮が行われている。
Specialist Training & On-Policy Distillation
数学、コーディング、エージェントなどの対象領域ごとに、高品質なデータでSFT（教師ありファインチューニング）を行った後、GRPOアルゴリズムを用いて個別の専門家モデルを強化学習（RL）で独立して育成している。studentモデルを作成するタイミングで複数の専門家モデルの出力値を集約させるような学習を行なっている。
目に留まった論文
Why are all LLMs Obsessed with Japanese Culture? On the Hidden Cultural and Regional Biases of LLMs
各種LLMの出力に対する文化や地域的な偏りについて調査した研究。
「毎日食べる料理は？」のような質問を様々な言語でLLMに尋ねた場合にアメリカや日本について言及されることが多いらしい。
教師ありファインチューニング（SFT）を施すと、日本や米国のようなごく少数の特定の国への言及が急激に集中し、それ以外の国への言及が減少する。その後のインストラクションチューニングも、この偏りを修正するのではなく、学習されたバイアスをそのまま保持する傾向がある。
なぜそのような出力にになるかは説明されていないが日本語話者として気になる内容だった。
Memorization, Emergence, and Explaining Reversal Failures: A Controlled Study of Relational Semantics in LLMs
言語モデルが十分なデータを与えられれば対称関係（「AがBの友人である」ならば「BはAの友人である」）や逆関係（「AがBの父親である」ならば「BはAの息子である」）を学習できることを示した研究。
株式会社MyVision開発部のテックブログです！ 採用情報はこちら corporate.my-vision.co.jp/engineering-careers
Discussion