👌

話せるAIアバターを簡単に構築できるソースコードを公開した

に公開
AI
JavaScript
ChatGPT
AI 活用
aiアバター
tech

Webだけで動くAIアバターSDKを公開しました

デモサイト：https://virtual-avatar-sdk-example.vercel.app/

3DアバターをWeb上で簡単に動かせるVirtual Avatar SDK をOSSとして公開しました。
https://github.com/hirokazuniimoto/virtual-avatar-sdk

なぜ作ったのか

最近、AIアバターやVTuber的なUIが増えてますよね。アニメ系のアバターについてはpixiv社が公開しているライブラリがすごく使いやすいのですが、（個人的には）ChatGPTとかと連携するのは少しハードルが高いという問題があると感じています。具体的には

  • 簡単に試すにはVRMの導入やLLMとの連携など複雑
  • リップシンク（口パク）や表情制御が面倒
  • アニメーションのロードが複雑

という問題がありました。そこでChatGPTなどのAIを利用して、Vroidアバター（VRM）を用いて話させることができるようなコードがあると便利なのではと思い公開しました。

できること

ai_avatar.js
import { AvatarSpeaker } from "virtual-avatar"

const avatar = new AvatarSpeaker({
  avatar: "/assets/avatars/AvatarSample_A.vrm"
})

await avatar.ready()

avatar.say("こんにちは")

これだけで：

  • 字幕表示
  • リップシンク
  • 音声同期（オプション）
  • 自動瞬き
  • 初期棒立ちアニメーション

が動きます。

ChatGPTと統合可能

ChatGPTなどのAPIレスポンス生成→それらをavatar.say()に渡すことで、リアルタイムな会話体験が簡単に実現できます（音声も渡すことが可能です）。

デフォルトアセット付き

VRoid公式サンプルモデルとアニメーションを同梱しているので、すぐに確認できます。さらにカスタムモデルを読み込めば自分だけのオリジナルアバター体験を作り出せます。

最後に

AIアバターはこれから増えていくUIだと思っています。

  • 観光地
  • EC
  • 教育
  • 店舗受付
  • カスタマーサポート

いろいろな用途に使えるはずです。

Discussion