開発テーマ・概要
- 新しいMoEモデルの作成と検証
- 新しいMoEの学習アルゴリズムの作成と検証
- コーパスの自動作成
チーム全体の開発状況
- 開発した新しい学習アルゴリズムでのMoEの学習を行う方針に決定
- コーパスについては完了
サブチームからの情報共有
コーパス
- やったこと
- Tokenizerの完成
- データのバイナリ化
学習アルゴリズム
- やったこと
- 本番環境でのMoEの学習アルゴリズムの作成と検証
モデル１
- やったこと
- 本番環境でのハイパラ設定探索
開発のマイルストーン
- データ準備
- フィルタリング＆BIN化完了
- モデル学習コード準備
- 概ね終了
- 本番環境でのパイプラインチェックが残っている
- シングルGPUでの稼働確認、実績
- 確認済み
- マルチノードでの稼働確認、実績
- 確認済み
Discussion