ゼロからLLMつくりたくなったときに参考になりそうなサイト

はじめに

「ゼロからLLMつくりたいなー」と思っていますが、なかなか時間がとれないので、いざというとき（？）のために、参考になりそうなサイトをまとめておきます。

個人的な備忘録です。まだ全然作れていないので、どれが良いという評価もできません。

NLP2024チュートリアル

良さそう。

https://x.com/hmtd223/status/1775035068077215945?s=20

https://github.com/hiroshi-matsuda-rit/NLP2024-tutorial-3

NLP2024-チュートリアル３-作って学ぶ 日本語大規模言語モデル

Neural Networks: Zero to Hero

Andrej Karpathyさんの動画。英語ですが、すごい良さそう

https://www.bioerrorlog.work/entry/andrej-karpathy-nn-zero-to-hero

https://www.youtube.com/watch?v=kCc8FmEb1nY

Llama

Llamaの情報
https://github.com/naklecha/llama3-from-scratch

https://github.com/meta-llama/llama/tree/main/llama

https://github.com/meta-llama/llama3/tree/main/llama

GENIAC

https://zenn.dev/p/matsuolab

https://github.com/matsuolab/ucllm_nedo_prod

https://note.com/uchidama/n/na980f4f95e45

その他

https://github.com/llm-jp/llm-jp-sft

LLaVA(画像系）
https://github.com/tosiyuki/LLaVA-JP

環境構築
https://zenn.dev/elith/articles/e4dbbb62752e04

モデルマージ
https://note.com/ngc_shj/n/na9b41adb9131

https://zenn.dev/tokyotech_lm/articles/5f4211b9ed3197

まとめ

LLMに限らず、何かをゼロから小さく作ってみるのは、回り道のようで理解を深める最短経路と思っています。すぐ効果があるようなものではないですが、こういうのはまとめて取り組んでいきたいですね。

日本語の良い書籍が出ないかなーと期待もしています。

参考リンク

https://note.com/npaka/n/n23e2a05cb650

https://note.com/kan_hatakeyama