本日、nidomi というGPT-OSSを使った基本無料のAIチャットボットをリリースしました!! 🎊
ん・・GPT-OSSはそもそも無料なのでは！？
というツッコミを受けそうなので、正確に言いますと
クラウドベンダーが提供するGPT-OSSモデルを採用することで、GPUの恩恵を受けつつ付帯する無料枠内で回答するAIチャットになります。
利用するモデル数やトークン量によって変わりますが、おおよそ5万リクエスト/月まで利用可能です。
サービスの特徴
nidomiは、生成されたコードをサイトに貼るだけで、簡単にチャットボットを設置できます。FAQやマニュアルを学習させて、ユーザー体験の入口として活用してみませんか？
類似サービスはありますが全て有償です。その中、僕らはフリーミアムで使える点が、最大の強みです。
どういう仕組なのか
OpenAIが2025年8月に公開したgpt-oss 120bを複数のクラウドベンダーが提供しており、そこに付帯する無料枠を活用することでサービスを実現しています。ユーザーは、各ベンダーで発行したAPI Keyを使って接続し、チャットボットのモデルとして利用します。
例えば、国内では、さくらインターネットが「さくらのAI Engine」として、月に3,000リクエストまで無料のプランを提供してくれています。
ただ小規模サイトでも、ちょっと足りないかもしれませんね
―― では、冒頭の5万リクエストはどういうカラクリか...？というと
Cerebras や Groq も同様にフリープランがあります。これらのモデルを数珠つなぎにして、上限に達したら自動切り替えすることでスケールアウトさせています。
性能
一般的に、gpt-oss 120bはo4-mini相当と言われています。ファインチューニングによりFAQエージェントなどの特定用途で十分な性能を発揮してくれると思います。
実際に、サービスサイト に設置しているので試してみてください。
普通に速いです！
技術構成
- Next.js（App Router） : Webアプリ、Vercelにデプロイ
- Supabase : 移植性を考えてDBのみ
- Prisma : PostgresのORMとして利用
- TypeScript / React / TailwindCSS : WebUIとして利用
- Shadcn/ui : UIコンポーネント
AIを扱うと先の事を考えてPythonへの誘惑がありますが、小さく・早く出荷にするためには、使い慣れた言語が一番という教訓から技術決定しています。
ベンダー接続の実装方法
GPT-OSSは各社ともに、同じエンドポイントで定義されています。これは、OpenAI互換にすることで、公式のAPIクライアントから接続できる設計になっているんだと思います。
さくらAI Engine
https://api.ai.sakura.ad.jp/v1/chat/completions
Cerebras
https://api.cerebras.ai/v1/chat/completions
Groq
https://api.groq.com/openai/v1/chat/completions
ですので、OpenAIのクライアント生成時にbaseURLを変えるだけで切り替え可能です。
const client = new OpenAI({
baseURL: model.baseUrl,
apiKey: ...,
});
この辺はサービスの肝だったので、シンプルに実装できたのは、非常に助かりました。
GPT-OSSこそ真のゲームチェンジャー
GPT-OSSのメリットは、すでに多くの有識者が解説してくれています。
- OpenAIの
o4-miniに匹敵する性能 - 個人から大企業・政府機関まで誰でも自由に利用・カスタマイズ可能
- 最先端AIが多くの開発者に手が届く
しかし、nidomiを見ていただくと分かるように、クラウドベンダーが参入することで生まれるエコシステムのメリットは計り知れません！
現在、主要なクラウドベンダーは、GPT-OSSを含めたオープンソースのAIモデルを提供しています。その背景には、既存インフラを活用した新たな収益源を獲得する狙いがあります。
この構図が確立すれば、AIモデルはシェアを拡大し、クラウドベンダーは実利を取り、ユーザーは低価格で利用できる win-win-win の関係になります。その意味で、GPT-OSSはこのスキームの先駆け的なモデルだったと感じています。
同じ理由か分かりませんがKimi K2が話題になった中国発AIは、モデル開発とオープンソース化が、ほぼセットで語られることが多いです。
これは大いなる実験でもある
このサービスを作ったキッカケは、LLMのコストが重い。という経験からです。
過去にAIエージェントをいくつか作ったのですが、開発コスト・運用コスト、それを回収するための課金前提プランの三重苦と、全くスケールするイメージがもてませんでした。
だからこそ、誰でも無料でAIが導入できる世界を作り、その中で、様々なユースケースを試しAIの可能性を広げていきたいです。
ぜひ、使っていただいた感想やアイデアを聞かせてください！
おわりに
nidomiはベータ版の位置づけでリリースしており、順次機能追加する予定です。技術的な話は X でも共有していきたいと思いますので、フォローをお願いします！
Discussion