<h2 id="%E3%81%AF%E3%81%98%E3%82%81%E3%81%AB" data-line="0" class="code-line">
<a class="header-anchor-link" href="#%E3%81%AF%E3%81%98%E3%82%81%E3%81%AB" aria-hidden="true"></a> はじめに</h2>
<p data-line="1" class="code-line">2024年2月から株式会社Preferred Network（以下、PFN）の子会社である株式会社Preferred Elements（以下、PFE）にて開発されているPLaMoという言語モデルのβ版トライアルAPIの発行が2024年8月9日から順次発行が開始されました<sup class="footnote-ref"><a href="#fn-d929-1" id="fnref-d929-1">[1]</a></sup>。この記事では、この言語モデルおよび、β版トライアルAPIを利用して作成したデモ用アプリについて簡単にご紹介いたします。アプリについては以下のリンクからお試しいただけます。ただし、β版トライアルAPIの利用自体は期間限定であるため、期間外はご利用いただけなくなります。ご了承ください。</p>
<p data-line="4" class="code-line"><span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__43752ef5c68d6" src="https://embed.zenn.studio/card#zenn-embedded__43752ef5c68d6" data-content="https%3A%2F%2Fplamo100b-demo.streamlit.app%2F" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://plamo100b-demo.streamlit.app/" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://plamo100b-demo.streamlit.app/</a></p>
<p data-line="6" class="code-line">また、作成したソースコードについてはGitHubにて公開しています。興味のある方は以下のリンクからご覧ください。</p>
<p data-line="8" class="code-line"><span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__b4b8375814d07" src="https://embed.zenn.studio/card#zenn-embedded__b4b8375814d07" data-content="https%3A%2F%2Fgithub.com%2FC-Naoki%2FPLaMo-100B" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://github.com/C-Naoki/PLaMo-100B" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://github.com/C-Naoki/PLaMo-100B</a></p>
<h2 id="plamo-100b%E3%81%A8%E3%81%AF%EF%BC%9F" data-line="10" class="code-line">
<a class="header-anchor-link" href="#plamo-100b%E3%81%A8%E3%81%AF%EF%BC%9F" aria-hidden="true"></a> PLaMo-100Bとは？</h2>
<p data-line="11" class="code-line">PLaMo-100Bは、PFNが2024年2月から開発している大規模言語モデルであり、パラメータの規模としては1000億にも及びます。このモデルの事前学習自体は、5月に完了しており、そして、2024年8月に事後学習も完了し、トライアルAPIの提供が開始される運びとなっています。このモデルの開発自体はなんと、データ収集からモデルの開発まで全てPFN独自に行われております。加えて、性能についても申し分なく、Jasterという日本語性能評価ベンチマークでGPT-4を超え、日本固有の知識を問うRakuda BenchmarkでもGPT-4の性能を超えることが確認されています<sup class="footnote-ref"><a href="#fn-d929-2" id="fnref-d929-2">[2]</a></sup>。</p>
<p data-line="14" class="code-line">PLaMo-100Bの開発プロジェクトは、経済産業省が主導する国内の生成AIの開発力を強化するためのプロジェクト「GENIAC（Generative AI Accelerator Challenge）」に採択され、計算資源の提供支援を受けているという背景もあり、日本の生成AIの研究開発をリードする存在として注目されています。</p>
<h3 id="%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF%E3%82%92%E7%94%A8%E3%81%84%E3%81%9F%E8%A9%95%E4%BE%A1%E5%AE%9F%E9%A8%93" data-line="16" class="code-line">
<a class="header-anchor-link" href="#%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF%E3%82%92%E7%94%A8%E3%81%84%E3%81%9F%E8%A9%95%E4%BE%A1%E5%AE%9F%E9%A8%93" aria-hidden="true"></a> ベンチマークを用いた評価実験</h3>
<p data-line="17" class="code-line">PFNのブログにて公開されている実験を簡易的に紹介いたします。詳しくは、<a href="https://tech.preferred.jp/ja/blog/plamo-100b-post-training/" target="_blank" rel="nofollow noopener noreferrer">PFNのブログ</a>をご覧ください。</p>
<p data-line="19" class="code-line">以下の表は、Jasterという日本語の言語理解能力を測定するベンチマークを用いた実験結果です。<br>
<img src="https://res.cloudinary.com/zenn/image/fetch/s--Yr9BsGkM--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_1200/https://storage.googleapis.com/zenn-user-upload/deployed-images/4d309fc90ee74faa376a6da4.png%3Fsha%3D6a81e616f95639461e9d3a979f268a42ce8f4440" loading="lazy" class="md-img"></p>
<p data-line="22" class="code-line">このように、PLaMo-100B-Instruct（事後学習済みのPLaMo-100B）は全体的にGPT-4モデルを上回る性能を示しています。ただし、MR (Mathematical Reasoning) カテゴリのデータに対しては、GPT-4モデルを大きく下回る性能となってしまっているようです。</p>
<p data-line="24" class="code-line">2024年10月15日追記：数学推論タスクの精度向上に関する検討がなされているようです<sup class="footnote-ref"><a href="#fn-d929-3" id="fnref-d929-3">[3]</a></sup>。直接的にPLaMo-100Bの精度向上のための取り組みではないようですが、今後の性能向上に期待が持てる結果となっています。</p>
<p data-line="27" class="code-line">また、過去にPFNが開発していた言語モデルであるPLaMo-13B<sup class="footnote-ref"><a href="#fn-d929-4" id="fnref-d929-4">[4]</a></sup>もあるのですが、このモデルとの比較実験の結果が見受けられませんでした。どの程度性能が向上しているのかどうか確認してみたいところです。加えて、表中のGPT-4はGPT-4oを指しているのかどうかに関する言及も見つけることができませんでいた。2024年8月現在、最新手法といえば、Gemini-1.5-Proをはじめとして、GPT-4oやClaude 3.5 Sonetなどが挙げられる<sup class="footnote-ref"><a href="#fn-d929-5" id="fnref-d929-5">[5]</a></sup>と思いますが、どの程度の性能差なのか純粋に気になります。</p>
<h2 id="%E4%BD%9C%E6%88%90%E3%81%97%E3%81%9F%E3%83%87%E3%83%A2%E7%94%A8%E3%82%A2%E3%83%97%E3%83%AA%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6" data-line="31" class="code-line">
<a class="header-anchor-link" href="#%E4%BD%9C%E6%88%90%E3%81%97%E3%81%9F%E3%83%87%E3%83%A2%E7%94%A8%E3%82%A2%E3%83%97%E3%83%AA%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6" aria-hidden="true"></a> 作成したデモ用アプリについて</h2>
<p data-line="32" class="code-line">リンクを踏んでいただきますと、以下のようなアプリが表示されます。アプリの開発自体は、PythonのStreamlitというライブラリを使用しています。<br>
<img src="https://res.cloudinary.com/zenn/image/fetch/s--whT1yhMl--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_1200/https://storage.googleapis.com/zenn-user-upload/deployed-images/736a0a89dfe7aaa79d696047.png%3Fsha%3D963cd248c60f3540ebd04b16bf8fb60be6ccc611" loading="lazy" class="md-img"></p>
<h3 id="%E3%82%A2%E3%83%97%E3%83%AA%E3%81%AE%E5%85%A8%E4%BD%93%E5%83%8F" data-line="35" class="code-line">
<a class="header-anchor-link" href="#%E3%82%A2%E3%83%97%E3%83%AA%E3%81%AE%E5%85%A8%E4%BD%93%E5%83%8F" aria-hidden="true"></a> アプリの全体像</h3>
<p data-line="36" class="code-line">機能としては以下に記すような非常に簡易的なもののみとなっています。</p>
<ul data-line="37" class="code-line">
<li data-line="37" class="code-line">入力としては、システムメッセージおよびユーザーメッセージを入力できます。
<ul data-line="38" class="code-line">
<li data-line="38" class="code-line">システムメッセージとは、チャットボット側に役割を与えることが可能です。</li>
</ul>
</li>
<li data-line="39" class="code-line">そして、メッセージの履歴については一時的に保持されるようになっており、それをCSV形式でエクスポートすることも可能です。</li>
</ul>
<p data-line="41" class="code-line">メッセージの履歴については以下のように表示されます。画像中の「会話の履歴をCSVでエクスポート」ボタンを押すことで、CSV形式でエクスポートすることが可能です。<br>
<img src="https://res.cloudinary.com/zenn/image/fetch/s--sXIT_oFq--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_1200/https://storage.googleapis.com/zenn-user-upload/deployed-images/cf2a1c7c554db34a6455a4c8.png%3Fsha%3D965cc3c7b4d7fc82a80a9516c61696093328ed78" loading="lazy" class="md-img"></p>
<h2 id="%E3%81%BE%E3%81%A8%E3%82%81" data-line="45" class="code-line">
<a class="header-anchor-link" href="#%E3%81%BE%E3%81%A8%E3%82%81" aria-hidden="true"></a> まとめ</h2>
<p data-line="46" class="code-line">PLaMo-100BというPFNが開発した大規模言語モデルについての簡単な説明および評価実験の確認を行いました。日本発祥の強力な言語モデルが生まれたことは非常に喜ばしく、今後の展望が非常に興味深いです。また、PLaMo-100Bのβ版トライアルAPIを利用して、デモ用アプリを作成しました。しかし、まだまだ開発途中ではありますので、今後のアップデートをお待ちください。また、このデモ用アプリについてのフィードバックや要望があれば、ぜひお知らせください。</p>
<section class="footnotes">
<span class="footnotes-title">脚注</span>
<ol class="footnotes-list">
<li id="fn-d929-1" class="footnote-item">
<p data-line="2" class="code-line"><a href="https://www.preferred.jp/ja/news/pr20240807/" target="_blank" rel="nofollow noopener noreferrer">PFEが開発する大規模言語モデルPLaMo β版の無料トライアルの申込受付を開始</a> <a href="#fnref-d929-1" class="footnote-backref">↩︎</a></p>
</li>
<li id="fn-d929-2" class="footnote-item">
<p data-line="12" class="code-line"><a href="https://tech.preferred.jp/ja/blog/plamo-100b-post-training/" target="_blank" rel="nofollow noopener noreferrer">1,000億パラメータの独自LLM「PLaMo-100B」の事後学習が完了</a> <a href="#fnref-d929-2" class="footnote-backref">↩︎</a></p>
</li>
<li id="fn-d929-3" class="footnote-item">
<p data-line="25" class="code-line"><a href="https://tech.preferred.jp/ja/blog/llm-synthetic-dataset-for-math/" target="_blank" rel="nofollow noopener noreferrer">LLMにおける合成データセットによる数学推論タスクの精度向上の検討</a> <a href="#fnref-d929-3" class="footnote-backref">↩︎</a></p>
</li>
<li id="fn-d929-4" class="footnote-item">
<p data-line="28" class="code-line"><a href="https://tech.preferred.jp/ja/blog/llm-plamo/" target="_blank" rel="nofollow noopener noreferrer">PLaMo-13Bを公開しました</a> <a href="#fnref-d929-4" class="footnote-backref">↩︎</a></p>
</li>
<li id="fn-d929-5" class="footnote-item">
<p data-line="29" class="code-line"><a href="https://chat.lmsys.org/?leaderboard" target="_blank" rel="nofollow noopener noreferrer">LMSYS Chatbot Arena Leaderboard</a> <a href="#fnref-d929-5" class="footnote-backref">↩︎</a></p>
</li>
</ol>
</section>


PLaMo-100Bのβ版トライアルAPIを用いてデモ用アプリを作ってみた

ベンチマークを用いた評価実験

作成したデモ用アプリについて

zenn-archive

python

streamlit

Discussion