こんにちは、カラクリの R&D チームの吉田です。
カラクリと AWS Trainium
カラクリでは、AWS Trainium を活用した LLM 開発を2023年から続けています。
AWS Trainium は、深層学習に特化したハードウェアアクセラレータです。GPU と比較してコストあたりの計算が速く、これにより、大規模な LLM 学習を通常よりも省コストで実施することができます。
カラクリでは、これまで以下のような開発を実施してきました[1]：
-
KARAKURI LM
- 日本語LLMシリーズです。2024年に3つのモデルをオープンウェイトで公開しました。日本語ベンチマークで国内最高性能を達成し、また日本語オープンウェイトモデルとして初の関数呼び出し機能を持つモデルとなりました。AWS LLM開発支援プログラム下で開発されました。
-
Syn
- グローバル AI 企業 Upstage 社の LLM である Solar Mini に対して、弊社で日本語ローカライズのための学習を実施した LLM です。パラメーター数14B(140億)未満の日本語対応LLMとして、日本語総合ベンチマーク「Nejumi リーダーボード」において業界トップクラスの評価を獲得しています。
-
KARAKURI VL
- 日本語VLM（視覚言語モデル）シリーズです。2025年にオープンウェイトで公開しました。同モデルサイズ帯のモデルの中で、日本語画像読解タスクで国内最高性能を達成し、また日本語オープンウェイトモデルとして初のコンピュータ操作エージェント対応モデルとなりました。経済産業省のGENIAC第2期の支援を受けて開発されました。
いずれも、AWS Trainium の高い性能のために 大幅なコスト削減 ができており、弊社の LLM 開発において AWS Trainium は「なくてはならない」チップとなっています。
しかしながら、AWS Trainium は世に登場してから日が浅く[2]、それゆえ GPU と比べるとエコシステムが整っているとは言いがたく、それが開発のハードルを上げているように思います。
そこで、AWS Trainium を活用した LLM 開発のハードルを下げるべく、弊社が Trainium を使用し続ける中で蓄積してきたノウハウを「AWS Trainium 50本ノック」という形で実践形式にまとめ、公開することにいたしました。
50問の問題を解き進めながら、AWS Trainium で LLM 開発を行うために必要となるスキルをひととおり身につけることができます。ぜひ、ご活用いただけますと幸いです！
AWS Trainium 50本ノック 問題一覧
| 章 | タイトル（Zenn記事） | 問題番号 |
|---|---|---|
| 1 | いきなりTrainiumに触れてみよう編 | 1-7 |
| 2 | Trainiumの基礎知識編（順次公開予定） | 8-10 |
| 3 | 計算機クラスタ構築編（順次公開予定） | 11-18 |
| 4 | NxD対応済モデルの学習編（順次公開予定） | 19-32 |
| 5 | 分散学習の基礎知識編（順次公開予定） | 33-37 |
| 6 | Llama3をTrainiumに移植しなおす編（順次公開予定） | 38-50 |
Discussion