<h2 id="%E3%81%AF%E3%81%98%E3%82%81%E3%81%AB">
<a class="header-anchor-link" href="#%E3%81%AF%E3%81%98%E3%82%81%E3%81%AB" aria-hidden="true"></a> はじめに</h2>
<p>Turingでは完全自動運転実現に向けて、LLMやそれを用いたVision Langauge（V&amp;L）モデルの開発に取り組んでいます。最近は経済産業省／NEDOの「競争力のある生成AI基盤モデルの開発を支援する「GENIACプロジェクト」」にも採択されるなど、大規模な生成AIの開発に精力的に取り組んでいます。</p>
<p>特に、Vision Languageモデルについては、Heronというライブラリとモデル群を公開しており、今回は新しいモデルとその学習レシピを公開します。また、日本語のV&amp;LモデルをGPT-4を用いて評価するためのプログラムも公開します。</p>
<h2 id="heron%E3%81%A8%E3%81%AF">
<a class="header-anchor-link" href="#heron%E3%81%A8%E3%81%AF" aria-hidden="true"></a> Heronとは</h2>
<p>V&amp;Lモデルは、画像を認識する「ビジョンエンコーダ」、文章を生成する「LLM」、それら2つをつなぐ「アダプタ」から構成されます。heronのコードを用いることで、これらの様々な組み合わせのオリジナルV&amp;Lモデルを作成することができます。heronリリース時に公開したモデルである「heron-blip-v0」は、blipとstablelm-alphaを用いたV&amp;Lモデルでしたが、今回は同じモデルの高性能版「heron-blip-v1」を公開します。</p>
<p><img src="https://storage.googleapis.com/zenn-user-upload/e1eff8569a2f-20240306.png" width="700" loading="lazy" class="md-img"></p>
<h2 id="%E6%96%B0%E3%81%97%E3%81%84heron%E3%81%AE%E8%83%BD%E5%8A%9B">
<a class="header-anchor-link" href="#%E6%96%B0%E3%81%97%E3%81%84heron%E3%81%AE%E8%83%BD%E5%8A%9B" aria-hidden="true"></a> 新しいheronの能力</h2>
<h3 id="%E5%AE%9A%E9%87%8F%E8%A9%95%E4%BE%A1">
<a class="header-anchor-link" href="#%E5%AE%9A%E9%87%8F%E8%A9%95%E4%BE%A1" aria-hidden="true"></a> 定量評価</h3>
<p>今回、GPT-4を用いた評価手法であるLLaVA-Benchを日本語に対応させて日本語の結果に対しても評価を行えるようしました。（コードは<a href="https://github.com/turingmotors/heron/tree/main/eval/llava-bench-ja" target="_blank" rel="nofollow noopener noreferrer">こちら</a>）。</p>
<p>評価のスコアを見ると以前のモデルと比べて20%以上のスコア向上を実現することができました。特に、Detail Description(詳細説明)のスコアが大きく向上しました。今回スコア算出に用いたheronの推論結果は<a href="https://wandb.ai/brain-team/heron-eval/reports/heron-blip-v1-LLaVA-Bench-COCO---Vmlldzo2ODUzNzMx?accessToken=rh8waa23906sqau84jzkj3wscwj6glp59zbw6vc7vk03scxj49tlcg2q8r5upsv9" target="_blank" rel="nofollow noopener noreferrer">こちらのwandbレポート</a>から参照できます。また、こちらの<a href="https://heron-demo.turing-motors.com/" target="_blank" rel="nofollow noopener noreferrer">デモページ</a>から実際に動かすことが可能です。</p>
<p><img src="https://storage.googleapis.com/zenn-user-upload/879da9c1eae1-20240227.png" width="600" loading="lazy" class="md-img"></p>
<h3 id="%E5%AE%9A%E6%80%A7%E8%A9%95%E4%BE%A1">
<a class="header-anchor-link" href="#%E5%AE%9A%E6%80%A7%E8%A9%95%E4%BE%A1" aria-hidden="true"></a> 定性評価</h3>
<p>定性評価として、風変わりな画像に対してどのような出力を行うのか比較を行いました。以下はその出力結果で、上段が新しいバージョンのheronの出力で、下段が以前のheronの出力です。</p>
<p><img src="https://storage.googleapis.com/zenn-user-upload/1a1d7ae8a3c8-20240227.png" width="600" loading="lazy" class="md-img"></p>
<p><img src="https://storage.googleapis.com/zenn-user-upload/f7ece9cdad17-20240227.png" width="600" loading="lazy" class="md-img"></p>
<p>一つ目はGPT-4のテクニカルレポートのデモで利用されたことで有名な、タクシーの後ろで男性がアイロンをしている画像です。以前のheronは「トラックの上で洗濯物を干している」と説明していましたが、新しいheronでは正しく「タクシーの上でアイロンをしている」と説明することができています。他の画像でも、テスラに書かれたピカチュウを説明したり(右上)、現場ネコの容姿を正確に説明することができています(右下)。新しいheronでは正しく説明できている場合が多い反面、無いものをあるかのように説明するハルシネーションも見られており(左下、右下)、常に状況を正しく説明できているわけではありませんでした。</p>
<h2 id="%E3%81%A9%E3%81%86%E3%82%84%E3%81%A3%E3%81%A6%E4%BD%9C%E3%81%A3%E3%81%9F%E3%81%8B">
<a class="header-anchor-link" href="#%E3%81%A9%E3%81%86%E3%82%84%E3%81%A3%E3%81%A6%E4%BD%9C%E3%81%A3%E3%81%9F%E3%81%8B" aria-hidden="true"></a> どうやって作ったか</h2>
<h3 id="%E6%97%A7%E3%83%A2%E3%83%87%E3%83%AB%EF%BC%88heron-blip-v0%EF%BC%89%E3%81%AE%E5%AD%A6%E7%BF%92%E6%96%B9%E6%B3%95">
<a class="header-anchor-link" href="#%E6%97%A7%E3%83%A2%E3%83%87%E3%83%AB%EF%BC%88heron-blip-v0%EF%BC%89%E3%81%AE%E5%AD%A6%E7%BF%92%E6%96%B9%E6%B3%95" aria-hidden="true"></a> 旧モデル（heron-blip-v0）の学習方法</h3>
<p>heron-blipはSalesforceが公開している学習済みの2.7BのBLIPモデルに日本語のLLM(StableLM-alpha)をつなげて学習を行っています。BLIPではビジョンエンコーダとLLMは学習せずフリーズして、アダプタであるQ-Formerだけを学習するという戦略をとっています。ここで、Q-FormerだけではなくLLM部分も学習した方が良いのではないかと考え、LLM部分をLoRAで学習するようにしました。また、学習データとして、VQAデータセットであるJapanese Visual GenomeとキャプションデータセットであるSTAIR Captionを最初に学習し、二段階目の学習でLLaVA-150kの日本語訳データを用いてビジュアル指示チューニングを行いました。</p>
<p><img src="https://storage.googleapis.com/zenn-user-upload/414c44d15675-20240227.png" width="600" loading="lazy" class="md-img"></p>
<h3 id="%E6%96%B0%E3%83%A2%E3%83%87%E3%83%AB%EF%BC%88heron-blip-v1%EF%BC%89%E3%81%AE%E5%AD%A6%E7%BF%92%E6%96%B9%E6%B3%95">
<a class="header-anchor-link" href="#%E6%96%B0%E3%83%A2%E3%83%87%E3%83%AB%EF%BC%88heron-blip-v1%EF%BC%89%E3%81%AE%E5%AD%A6%E7%BF%92%E6%96%B9%E6%B3%95" aria-hidden="true"></a> 新モデル（heron-blip-v1）の学習方法</h3>
<p>新モデルの特徴は以下の3点です。</p>
<ul>
<li>LLM部分をフルパラ学習した</li>
<li>指示チューニング用学習データをllava-1.5の学習に用いられているllava-620kの日本語翻訳モデルを利用</li>
<li>旧モデルで行っていたVisual GenomeやSTAIR Captionを使わずに、最初からLLaVAのデータで学習</li>
</ul>
<p><img src="https://storage.googleapis.com/zenn-user-upload/3deba033a819-20240227.png" width="200" loading="lazy" class="md-img"></p>
<h3 id="llm%E3%81%AE%E3%83%95%E3%83%AB%E3%83%91%E3%83%A9%E5%AD%A6%E7%BF%92">
<a class="header-anchor-link" href="#llm%E3%81%AE%E3%83%95%E3%83%AB%E3%83%91%E3%83%A9%E5%AD%A6%E7%BF%92" aria-hidden="true"></a> LLMのフルパラ学習</h3>
<p>旧モデルではLoRAによってLLM部分の学習を行っていましたが、LLM部分の学習方法の再検討を行いました。そもそも、LoRAを用いて学習するレイヤーとしてアテンション層、MLP層などの選択肢があり、どのように学習すると良いのかはわかっていませんでした。さらに、LoRAを用いずにLLM全体のパラメータを学習するフルパラメータ学習という選択肢もあります。これらを検証するために、llava-150k-jaのデータを用いて、LoRAによってアテンション層、MLP層を学習した場合、フルパラメータ学習した場合でLLaVA-Bench (COCO)の比較を行いました（以下のグラフ）。</p>
<p><img src="https://storage.googleapis.com/zenn-user-upload/08885e934684-20240227.png" width="300" loading="lazy" class="md-img"></p>
<p>結果を見ると、フルパラメータファインチューンした場合に最も良いスコアとなりました。また、LoRAにおいては、アテンション層を学習するよりもMLP層を学習した場合の方が良いスコアになっていました。LoRAだけを使う場合において、どのレイヤーを学習するかはしっかり確認した方が良さそうです。</p>
<h3 id="%E3%83%87%E3%83%BC%E3%82%BF%E3%82%BB%E3%83%83%E3%83%88%E3%82%92llava-620k-ja%E3%81%AB%E5%A4%89%E6%9B%B4">
<a class="header-anchor-link" href="#%E3%83%87%E3%83%BC%E3%82%BF%E3%82%BB%E3%83%83%E3%83%88%E3%82%92llava-620k-ja%E3%81%AB%E5%A4%89%E6%9B%B4" aria-hidden="true"></a> データセットをllava-620k-jaに変更</h3>
<p>llava-1.5の学習に使われているデータセットを使うように変更しました。<a href="https://huggingface.co/datasets/liuhaotian/LLaVA-Instruct-150K/blob/main/llava_v1_5_mix665k.json" target="_blank" rel="nofollow noopener noreferrer">llava-665k</a>では画像を含まない会話データなどが含まれているので、それらを除いたデータをllava-620kとして用意し学習を行いました。llavaの150kと620kを用いた場合でどのようにスコアが変化するのか確かめてみました。その結果、LoRAを使う場合とフルパラ学習を行う場合、両方でllava-620kを用いた方が良いスコアが出ることが確認できました。</p>
<p><img src="https://storage.googleapis.com/zenn-user-upload/1dc6af759fbc-20240227.png" width="350" loading="lazy" class="md-img"></p>
<h3 id="%E4%BA%8B%E5%89%8D%E5%AD%A6%E7%BF%92%E3%82%92%E3%81%AA%E3%81%8F%E3%81%97%E3%81%A6%E6%8C%87%E7%A4%BA%E3%83%81%E3%83%A5%E3%83%BC%E3%83%8B%E3%83%B3%E3%82%B0%E3%81%AE%E3%81%BF%E3%82%92%E8%A1%8C%E3%81%86">
<a class="header-anchor-link" href="#%E4%BA%8B%E5%89%8D%E5%AD%A6%E7%BF%92%E3%82%92%E3%81%AA%E3%81%8F%E3%81%97%E3%81%A6%E6%8C%87%E7%A4%BA%E3%83%81%E3%83%A5%E3%83%BC%E3%83%8B%E3%83%B3%E3%82%B0%E3%81%AE%E3%81%BF%E3%82%92%E8%A1%8C%E3%81%86" aria-hidden="true"></a> 事前学習をなくして指示チューニングのみを行う</h3>
<p>旧モデルではVisual GenomeやSTAIR Captionによって事前学習を行い、その後にLLaVAのデータで指示チューニングを行っていました。これらを行う場合と行わない場合でスコアを比較をしてみると、ほとんどスコアに変化がないことが確認できました。また、実際に出力を確認して定性評価を行うと、事前学習がない方が良い結果になっているように感じました。</p>
<p><img src="https://storage.googleapis.com/zenn-user-upload/fb835d40ae87-20240227.png" width="400" loading="lazy" class="md-img"></p>
<h3 id="llm%E3%82%92%E5%A4%89%E3%81%88%E3%81%9F%E5%A0%B4%E5%90%88%E3%81%AE%E6%AF%94%E8%BC%83">
<a class="header-anchor-link" href="#llm%E3%82%92%E5%A4%89%E3%81%88%E3%81%9F%E5%A0%B4%E5%90%88%E3%81%AE%E6%AF%94%E8%BC%83" aria-hidden="true"></a> LLMを変えた場合の比較</h3>
<p>heron-blipはLLMとして<a href="https://huggingface.co/stabilityai/japanese-stablelm-instruct-alpha-7b" target="_blank" rel="nofollow noopener noreferrer">japanese-stablelm-alpha</a>を採用しています。様々なLLMを用いて学習を試してみたのですが、結果としてstablelm-alphaが最も良い結果でした。これはアダプタ部分（今回はQ-Former）との相性も結果に影響している可能性がありますが理由は分かりません。以下では、<a href="https://huggingface.co/llm-jp/llm-jp-13b-instruct-full-jaster-v1.0" target="_blank" rel="nofollow noopener noreferrer">llmjp-13B</a>、<a href="https://huggingface.co/tokyotech-llm/Swallow-7b-hf" target="_blank" rel="nofollow noopener noreferrer">Swallow-7b</a>を使った場合の比較です。LLaVA本家も初期モデルからVicunaを使い続けており、LLM単体の性能とV&amp;Lモデルの性能は必ずしも比例しないのではないかと考えています。</p>
<p><img src="https://storage.googleapis.com/zenn-user-upload/905e3bc0196e-20240227.png" width="300" loading="lazy" class="md-img"></p>
<h3 id="%E5%85%AC%E9%96%8B%E3%81%95%E3%82%8C%E3%81%A6%E3%81%84%E3%82%8B%E6%97%A5%E6%9C%AC%E8%AA%9Ev%26l%E3%83%A2%E3%83%87%E3%83%AB%E3%81%A8%E3%81%AE%E6%AF%94%E8%BC%83">
<a class="header-anchor-link" href="#%E5%85%AC%E9%96%8B%E3%81%95%E3%82%8C%E3%81%A6%E3%81%84%E3%82%8B%E6%97%A5%E6%9C%AC%E8%AA%9Ev%26l%E3%83%A2%E3%83%87%E3%83%AB%E3%81%A8%E3%81%AE%E6%AF%94%E8%BC%83" aria-hidden="true"></a> 公開されている日本語V&amp;Lモデルとの比較</h3>
<p>他に公開されている日本語のV&amp;Lモデルとheronの比較を行ってみます。前提として、英語のV&amp;LモデルではVQAなど様々な評価指標で包括的に評価を行うことができますが、日本語のV&amp;Lモデルを包括的に評価するためのベンチマークはまだほとんどないというのが現状です。今回はLLaVA-Bench(COCO)が日本語に対しても簡単に実行できるということで比較を行っていますが、この値が高いから一概にモデルが優れているとは言えず、あくまで参考値として見てもらえればと思います。</p>
<p>今回比較を行ったモデル</p>
<ul>
<li>
<a href="https://github.com/haotian-liu/LLaVA" target="_blank" rel="nofollow noopener noreferrer">LLaVA-1.5</a>: 本来は英語モデルですが、プロンプトの最後に「日本語で回答して」と付け加えて、日本語で回答させています。</li>
<li>
<a href="https://huggingface.co/rinna/bilingual-gpt-neox-4b-minigpt4" target="_blank" rel="nofollow noopener noreferrer">rinna-4B</a>: rinnaの”bilingual-gpt-neox-4b-minigpt4”</li>
<li>
<a href="https://huggingface.co/stabilityai/japanese-stable-vlm" target="_blank" rel="nofollow noopener noreferrer">Stable-VLM</a>: Stability AIの”stabilityai/japanese-stable-vlm”</li>
</ul>
<p><img src="https://storage.googleapis.com/zenn-user-upload/c7caa20c618e-20240227.png" width="400" loading="lazy" class="md-img"></p>
<h3 id="transformers%E3%82%92%E4%BD%BF%E3%81%A3%E3%81%9F%E5%AD%A6%E7%BF%92%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6">
<a class="header-anchor-link" href="#transformers%E3%82%92%E4%BD%BF%E3%81%A3%E3%81%9F%E5%AD%A6%E7%BF%92%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6" aria-hidden="true"></a> transformersを使った学習について</h3>
<p>今回heronのフルパラメータ学習はDeepSpeedのZero3を用いて学習を行っています。当初、BLIPモデルはZero3を用いて学習することができませんでしたが、原因を調べて見るとhuggingfaceのtransformersライブラリのバグに起因していることがわかりました。これを修正するためにtransformersに<a href="https://github.com/huggingface/transformers/pull/27762" target="_blank" rel="nofollow noopener noreferrer">修正プルリクエスト</a>を送り、この修正はtransformersのv4.37から取り入れられました。Huggingfaceのtransformersは推論目的には使いやすいですが、学習を行うには苦労することが多いので注意が必要です。</p>
<h3 id="%E5%AD%A6%E7%BF%92%E6%9D%A1%E4%BB%B6">
<a class="header-anchor-link" href="#%E5%AD%A6%E7%BF%92%E6%9D%A1%E4%BB%B6" aria-hidden="true"></a> 学習条件</h3>
<p>今回のheronの学習を行った際の学習条件を以下に記載します。</p>
<ul>
<li>グローバルバッチサイズ: 128</li>
<li>学習率: 5.0e-5</li>
<li>最適化手法: AdamW</li>
<li>重み精度: fp16</li>
<li>エポック数: 1</li>
<li>分散学習: ZeRO Stage3</li>
<li>トークンの最大数: 256</li>
</ul>
<h2 id="%E3%81%BE%E3%81%A8%E3%82%81">
<a class="header-anchor-link" href="#%E3%81%BE%E3%81%A8%E3%82%81" aria-hidden="true"></a> <strong>まとめ</strong>
</h2>
<p>今回は新しいheronのモデルと日本語V&amp;Lの評価プログラムを公開しました。フルパラメータチューニングを大きいデータで学習したモデルが最も良いという分かりやすい結果になりました。LLMの盛り上がりに続いて、日本語のV&amp;Lモデルの盛り上がりも期待しています！同じ課題に取り組んでいる方はぜひ情報交換しましょう〜！気軽にコメント・DMください！</p>
<h2 id="%E3%82%A4%E3%83%99%E3%83%B3%E3%83%88%E6%83%85%E5%A0%B1">
<a class="header-anchor-link" href="#%E3%82%A4%E3%83%99%E3%83%B3%E3%83%88%E6%83%85%E5%A0%B1" aria-hidden="true"></a> <strong>イベント情報</strong>
</h2>
<p>『Turing Semiconductor/AI Day』を3/13（水）に開催します。Turingの半導体、生成AI、自動運転の戦略と最新の開発状況を発表する予定です。オンライン配信も予定しているので、ぜひご登録ください！</p>
<p><span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__41ec07c4caca6" src="https://embed.zenn.studio/card#zenn-embedded__41ec07c4caca6" data-content="https%3A%2F%2Fprtimes.jp%2Fmain%2Fhtml%2Frd%2Fp%2F000000044.000098132.html" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://prtimes.jp/main/html/rd/p/000000044.000098132.html" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://prtimes.jp/main/html/rd/p/000000044.000098132.html</a></p>
<h2 id="%E6%8E%A1%E7%94%A8%E6%83%85%E5%A0%B1">
<a class="header-anchor-link" href="#%E6%8E%A1%E7%94%A8%E6%83%85%E5%A0%B1" aria-hidden="true"></a> <strong>採用情報</strong>
</h2>
<p>TuringではGPUをたくさん使って大規模な生成モデルを学習しています。興味ある方はぜひ声かけてください！</p>
<p><span class="embed-block zenn-embedded zenn-embedded-tweet"><iframe id="zenn-embedded__58819911b9e3c" src="https://embed.zenn.studio/tweet#zenn-embedded__58819911b9e3c" data-content="https%3A%2F%2Ftwitter.com%2Fymg_aq%2Fstatus%2F1759508147360985472" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://twitter.com/ymg_aq/status/1759508147360985472" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://twitter.com/ymg_aq/status/1759508147360985472</a></p>


日本語Vision Languageモデル heron-blip-v1の公開

旧モデル（heron-blip-v0）の学習方法

新モデル（heron-blip-v1）の学習方法

データセットをllava-620k-jaに変更

事前学習をなくして指示チューニングのみを行う

公開されている日本語V&Lモデルとの比較

transformersを使った学習について

Discussion