fukugawa

本業はAndroid/iOSアプリの開発をしています。最近、日本語LLMを作るためのオープンソースプロジェクトをはじめました。事前学習、Fine-tuning、RLHFのプロセスを経て、最終的にChatGPTのような国産の対話システムを作成するために、まずはGPT-2 smallの模倣からはじめました。