本業はAndroid/iOSアプリの開発をしています。最近、日本語LLMを作るためのオープンソースプロジェクトをはじめました。事前学習、Fine-tuning、RLHFのプロセスを経て、最終的にChatGPTのような国産の対話システムを作成するために、まずは、GPT-2 smallの模倣からはじめました。
