TinySwallow関連の情報

Sakana AIによる公式デモ:

• Blog: https://sakana.ai/taid-jp/
• Demo: https://pub.sakana.ai/tinyswallow/
• GitHub: https://github.com/SakanaAI/TinySwallow-ChatUI
• Model: https://huggingface.co/collections/SakanaAI/tinyswallow-676cf5e57fff9075b5ddb7ec

そして、TAIDを用いて32BパラメータのLLMから約1/20の大きさの1.5Bパラメータの小規模言語モデルへ知識転移を行い、同規模のモデルの中で最高性能となる日本語モデル「TinySwallow-1.5B」を作り出すことに成功しました。 小規模サイズである「TinySwallow-1.5B」は、外部APIなどを介さずお手元のスマートフォンやPCで完結したチャットが可能です。下記のウェブアプリのリンクから、ブラウザ上で動作するチャットアプリをお試しいただけます。

GGUF

• Q5:
• Q8: 14.75 tps

Transformers.jsにより2倍高速化した(~50 tokens/sec):

• GitHub: https://github.com/huggingface/transformers.js-examples/tree/main/tinyswallow-webgpu
• Tweet: https://x.com/xenovacom/status/1887104168831091154

日本語評価のベンチマーク
https://swallow-llm.github.io/evaluation/index.ja.html