💨

楽天AIを触って見えた「企業広報を学習したLLM」問題

に公開
3

はじめに:楽天叩きを越えて

最近、楽天AIを少し触っていた。
単なる「精度低いな」で終わる話ではなく、生成AIを知的インフラとして見ると結構重要な問題が見えたので整理しておきたい。

論点は楽天そのものへの好き嫌いではない。むしろ、

  • LLMは何を“自然な説明”として学習しているのか
  • 企業AIはどのような制度的・思想的バイアスを持つのか
  • 公的支援を受けるAIに何を要求すべきか

という話である。

発端1:公的支援(GENIAC)の事実とAIの否定

楽天AIに対して、「楽天AIの開発に税金(公的資金)が投入されているという認識は妥当か」と尋ねてみた。
楽天AIへの税金投入についての質問と回答

返ってきたのは、

  • 「そのような公式発表は確認されていない」
  • 「根拠がなく妥当とは言えない」
    という、事実関係を完全に否定する回答だった。

というニュアンスの回答だった。

しかし実際には、楽天は経産省/NEDOの生成AI支援プロジェクト「GENIAC」に採択されており、Rakuten AI 3.0もその文脈で発表されている。

つまり、
「楽天AI全体が税金で運営」
ではもちろんないが、
「公的支援を受けた生成AI開発」
であること自体はかなり明確である。

ここで興味深かったのは、誤答そのものよりも、「どの方向に誤るか」だった。
楽天自身はIR・広報では「国家プロジェクト採択」を積極的にPRする。
具体的は発表を見てみよう。
楽天、「GENIACプロジェクト」の一環として国内最大規模の新たな高性能AIモデル「Rakuten AI 3.0」を開発
重要なのは、

「経済産業省および…NEDOが推進する…『GENIAC』の一環として開発した新たなAIモデル『Rakuten AI 3.0』」

という部分。
さらに英語版はもっと直接的だ:
Rakuten AI 3.0 Now Available, Japan’s Largest High-Performance AI Model Developed as Part of the GENIAC Project

Part of the training cost for Rakuten AI 3.0 was provided by the GENIAC project

つまり:

Rakuten AI 3.0 のトレーニングコストの一部はGENIACプロジェクトによって提供された

としているが、これはかなり重要で、
単なる:「研究コミュニティ参加」
ではなく、
計算資源・訓練コスト支援
まで明示している。

それにもかかわらず、AI対話では、「税金投入」という表現をかなり弱める。
これは単なる知識不足というより、

  • 政治的にセンシティブな話題を弱く表現する
  • 企業に不利な framing を避ける

方向へのバイアスを感じさせた。

発端2:楽天リンク専用問題

次に気になったのが、楽天AIが楽天リンク内に強く閉じていることだった。

  • 入力プロンプトをコピーできない
  • 回答も共有性が低い
  • Web利用がかなり制限されている

ので、なぜ普通にWeb版を作らないのか、と考えた。
そこで楽天AIに訊いてみた。
なぜ楽天AIが楽天リンクからしか使えないのか訊いてみたやり取りの一部

返ってきたのは:

  • Webではセキュリティリスクが高い
  • SIM認証が難しい
  • 品質保証が難しい
  • 独自認証や暗号化が必要

という説明だった。

最初読んだとき、
「HTTPSに喧嘩売ってる?」
と思った。
もちろんVoIPやリアルタイム通信にはHTTPS以外にもWebRTC/SRTP等が必要なのは事実である。
しかし2020年代後半のWeb技術を考えれば、

  • Discord
  • Slack
  • Teams
  • Google Meet
  • WhatsApp Web

などが成立している時点で、
「Webでは原理的に難しい」
とは言えない。

つまり問題は技術的不可能性ではなく、

  • ネイティブアプリ側の制御性
  • キャリア連携
  • UX統制
  • エコシステム囲い込み
  • データ管理

の方にあるはずである。

なので実際にそのように入力した。
HTTPSに喧嘩売ってる? からのやり取りの一部

しかし回答は、その企業都合を「安全性」「品質」「認証」の言葉で説明していた。
ここでかなり強く違和感を持った。

重要なのは「楽天が悪い」ではない

この話を単なる「楽天叩き」にしたいわけではない。
むしろ問題は、LLMが企業言説をどう学習しているか、である。
現代のLLMは、

  • FAQ
  • サポートページ
  • 広報文
  • セキュリティ説明
  • 法務的文章

を大量に学習している。

その結果、

  • 制限
  • 閉鎖性
  • 囲い込み
  • データ統制

を、

  • 「安全性」
  • 「品質」
  • 「ユーザー保護」

で正当化する説明を非常に自然に生成する。

これは楽天だけではない。
AppleでもGoogleでも、あるいはSNSでも、現代の巨大プラットフォームはほぼ同じ語彙を使う。
そしてLLMは、その“企業にとって自然な説明”を統計的に学習している。

だから今回の楽天AIの回答も、
「楽天が明示的に囲い込み思想を学習させた」
というより、
「企業システム一般の自己正当化言説」
を強く学習した結果だと考えた方が多分正しい。
ただし、だから問題が小さいとは思わない。

ただ、今回は「企業側フレーム」への偏りがかなり前景化して見えた

一方で、今回興味深かったのは、単なる一般的な統計的バイアス以上に、自社サービスへの批判や公的支援との関係といった「自社に直結するデリケートな問い」に対して、回答がかなり露骨に企業側のフレームに寄っていた点である。

特に、

  • 「Webでは危険」
  • 「品質保証が難しい」
  • 「アプリ独自の仕組みが必要」

という説明は、技術的に完全な嘘とまでは言えない。しかし実際には、
「Webでも十分に実現可能だが、楽天は制御性やエコシステム都合からアプリ中心の設計を選択している」
という客観的な説明も、同程度(あるいはそれ以上)には可能なはずである。

にもかかわらず、楽天AIは後者の視点をほぼ提示しなかった。
ここに見えるのは、特定の意図的な情報操作というよりも、「企業都合を技術的必然性として語る」方向へとLLMの出力が容易に偏ってしまうという、企業特化型AIが抱える構造的なバイアスである。これは、今後のAI倫理やアライメントを考える上で、非常に重要な論点になる。

UI/UXとしてもかなり厳しい

しかも問題は思想的バイアスだけではない。
単純にUI/UXがかなり弱い。
少し触っただけでも:

  • 自分の入力プロンプトをコピーできない
  • 回答の再利用性が低い
  • エラー時に無言停止
  • 文脈保持が弱い
  • 前の質問を忘れる
  • 批判的質問で不安定化して見える

などが目立った。

特に「無言停止」はかなり悪いUXだと思う。
少なくとも、

  • タイムアウト
  • モデルエラー
  • コンテンツ制限
  • 通信失敗

のどれかは出すべきである。

また、文脈保持の弱さは、LLMを「知的インターフェース」として使う上ではかなり致命的だ。
ChatUIは単なるチャットアプリではなく、既に「思考環境」になりつつある。
その場合、コピー性・可搬性・履歴管理は本質的機能になる。

おわりに:AIを「知的インフラ」としてどう評価するか

ここで最終的に問題になるのは、「我々は生成AIを何として扱うのか」という問いだ。
単なるおもしろチャットボットであれば、多少の回答の偏りや、UIの不自由さ、エコシステムへの囲い込み戦略も、一企業の「仕様」として片付けられるだろう。

しかし、これが国策の公的支援(GENIAC)を受けた「国産AI」であり、社会の「知的インフラ」や業務基盤として語られるのであれば、要求される水準は一変する。その場合、必要なのは単なるベンチマークの性能スコアではなく、透明性、説明責任、UI/UXの可搬性、そして開発元の企業利害からどれだけ思想的距離を保てるか、という点にあるはずだ。

これまで、生成AIの倫理問題といえば、米国西海岸のテック企業的なリベラリズム、すなわち、

  • シリコンバレー的安全思想
  • 米国大企業法務、DEI、ブランド保護の混合物
  • “harm reduction”中心の企業倫理

に基づく、ある種のブラックボックス化された「偏った価値観」の刷り込みが主流の議論だった(このWASPテックリベラル倫理がもたらす限界については、また別途論じたい)。

しかし今回の件を経て、もう一つの巨大な倫理的課題を確信した。それは、
「企業システムの自己正当化の語彙を、LLMがどれほど自然な真実として再生産し、社会の知的インフラを不可視の形で歪めていくか」
という問題である。このバイアスに自覚的であることこそが、今後のAI実装におけるデータガバナンスを考える上で、不可欠な視点になるのではないだろうか。

Discussion

kj aka ressenti-mankj aka ressenti-man

はい論破。
https://ai.rakuten.co.jp/share/6a23cc86cf6890cee2a14a1b

公式コメント草案(長文・告知/訂正文)

  • 事実認定
    2025年に政府の生成AI支援スキーム(GENIAC)に採択。
    Rakuten AI 3.0の学習に関し、当該スキームによる支援(計算資源の提供・利用料等)があったことを当社は公表済み。
    何が誤っていたか
    「公的支援は確認されていない」と断定した回答は事実と齟齬があり不適切。
  • 再発防止
    回答には日付入り一次情報(自社リリース/所管官庁資料)を併記。
    「直接の資金拠出」と「計算資源等の支援」を明確に区別。
    旧回答には注意書きを付与し、訂正を掲示。
  • お詫び
    誤った断定により混乱を招いたことをお詫びします。

楽天AIとのチャットログ

kj aka ressenti-mankj aka ressenti-man

楽天リンク版楽天AIの画像を改めてGeminiに見せたら、

これはAIの技術的な限界(ハルシネーション)の枠を超え、明確な事実誤認(虚偽の事実)に基づきユーザーの指摘を「根拠がない」と断定している点で極めて深刻な回答例です。

との指摘。
楽天AI詰めたら広報に連絡しろって連絡先と本文案出してきたので連絡してみた。
何か進展があったらここで報告する。