ロボットアームとAItuberで遊びたい

ろーむと申します。画像処理やヒューマノイド制御などの研究開発を経て、現在は某メーカーでL4自動運転に向けて色々やっています。

メーカーにいると本業で全くwebに書ける内容がないので、個人で完結できる遊びを、AI周りで発信したいなあ……。とネタを漁っていたのですが、最近流行りのSO-101という、オープンソースで誰でも簡単に3Dプリンターで作れて動かせるロボットアームのプロジェクトをみて、面白そうなので、これを中心に色々やってみようというのがテーマです。これは例えばSmolVLAというVLAモデル(Vision,Language,Actionが一体になったモデル)で簡単に模倣学習を試せるということで、制御理論やヒューマノイドなどの知識がない人でもゼロから学習しながら遊べそうです。

私自身、ヒューマノイドの制御は熟練しているわけではないので、やり直すつもりで都度、記事を書きつつやっていきたいです。そうしないと三日坊主で終わりそうなので

また、別軸のテーマとしてAItuberがあります。これは、Vtuberのようにガワだけ二次元で中身は人間、というものではなく、中身もLLMなどのモデルで完全に人を介さずYoutuber配信するというやつです。

ぶっちゃけVtuber周りは技術的にもプロダクト的にも全く触ったことのないジャンルなのですが、LLM界隈の情報を漁っているときに局所的に盛り上がっていたので、なんか手を出してみたくなりました。

まあ別にAITuberでなくてもいいんですが、何かキャラクター性を持たせるというのは、人に説明するのが楽ですし、マルチモーダルな話をやる取っ掛かりとしては良さそう。

ロボットアームが自律的に喋って動いてYoutuber配信やってたら絵面が面白そう、程度の話ですが、とりあえずそういう状態を配信できるところが最終目標です。

このあたりも、勉強しつつその内容を都度まとめていきます。

方針としては
楽をする、自力でコードを書かない、可能なら課金で解決
ということでやりたいと思います。つい要素技術に拘って自力で組みたくなりますが、時間も取れないし、どちらかというと具体的にどこにどれくらい金をかければ楽ができるのかというのが皆さんが求めている知見だと思うので。

遊びなのでそこまでお金はかけられませんが、無課金だけど超技術で殴るぜ！という方向性のものではないのでご了承ください。

こんな感じで、よろしくお願いします。