Zenn
🐝

GPT/Claud APIを利用したチャットツール「beePrompt」を公開しました

2024/04/10に公開
AWS
GPT-4
Claude 3
tech

https://github.com/beeskynet/beePrompt
gif

簡単なご紹介

OpenAI GPTとAnthropic ClaudeのAPIを使ったチャットサービスです。ChatGPTのようにAIとチャットできます。
控えめな利用ならGPT4やClaude 3 Opusが格安で使えます。

特徴

  • 複数のモデルのAIと同時にチャット可能
  • AWSの課金を抑えるサービス構成

あまり使われないかもしれませんが、弊社内利用のために開発したので下記もポイントです。

  • 複数ユーザーで利用可能
  • ユーザー毎の利用量を制御する管理機能

できないこと

下記等できません。すみません。

  • 画像生成
  • Web検索
  • GPTs
  • 定額利用

セルフホスティングについて

マネージドサービス(構築済みサービス)の公開は今のところありません。
利用にはセルフホスト環境の構築が必要です。

AWS環境についてはCDKを書きました。GPTやClaudeのAPIを使っていてAWS CLI、npmあたりが使える方なら簡単かと。
githubで公開しているREADME.mdファイルで手順を書き出してあります。
非プログラマーの方でも頑張れば構築できると思います。
不備などあったらコメントやTwitterでご連絡ください。

構成図

こんな感じ。
LambdaとDynamoDBを使うことで課金を抑えています。
このアプリだけひとりで使っている分にはAWS課金についてはほとんど無料枠で収まるかも?
構成図

セットアップの事前に必要なこと

  • OpenAIとAnthropic、AWSのアカウント
  • 各アカウントそれぞれについてクレジットカード登録
  • OpenAIのクレジット購入($5より)
    Anthropicは2024/4時点で$5の無料クレジットが利用できると思います。

利用サービスの課金について

セルフホストで本アプリ自体は無料で利用することができますが、本アプリが利用しているOpenAI、Anthropic、AWSの従量課金が発生します。

OpenAIとAnthropicは前払いクレジット方式、AWSは後払いになります。

使い方のコツ

  • 複数モデルの同時チャットを積極的に使う。
    GPT4とOpusを同時に使って答えを見比べると非常に有用です。
    ただし、Opusが特にかなり高いので、費用を抑えるならGPT4＋αがいいかも？
    特に安いGPT3.5とHikeはサブで常にオンにしておくといいです。
    GPT4やOpusの答えをなんとなく相対化して眺める気分になり、間違いに気づきやすくなる気がします。
  • いちいち新規チャットを作成。
    チャットを続けていくと前のメッセージがすべて課金対象になります。
    前のメッセージが尋ねたいことと関係ない場合など、なるべく新規チャットを作成すると課金が抑えられます。

まとめ

使ってみてください！

Discussion