<p>株式会社ウェイブでComicFestaのエンジニアをしている肥沼です。</p>
<p>今回は漫画・アニメ「葬送のフリーレン」に登場する大魔族アウラが使う「服従の天秤」を作ってみました！<br>
本当に相手の魔力量を測定して魂を天秤にかけることができるリアル服従の天秤です。</p>
<p>流行りの生成AIとIoTの技術を思う存分に使って製作したのでZennにまとめてみます。<br>
エンタメ×ITものづくりに興味がある人向けの内容となっています！</p>
<h1 id="%E5%87%BA%E6%9D%A5%E4%B8%8A%E3%81%8C%E3%81%A3%E3%81%9F%E3%82%82%E3%81%AE">
<a class="header-anchor-link" href="#%E5%87%BA%E6%9D%A5%E4%B8%8A%E3%81%8C%E3%81%A3%E3%81%9F%E3%82%82%E3%81%AE" aria-hidden="true"></a> 出来上がったもの</h1>
<p><img src="https://storage.googleapis.com/zenn-user-upload/e608bcc5d77e-20240515.png" loading="lazy" class="md-img"></p>
<p>youtube(予定)</p>
<h1 id="%E6%8A%80%E8%A1%93%E7%9A%84%E3%81%AA%E6%83%85%E5%A0%B1">
<a class="header-anchor-link" href="#%E6%8A%80%E8%A1%93%E7%9A%84%E3%81%AA%E6%83%85%E5%A0%B1" aria-hidden="true"></a> 技術的な情報</h1>
<p>大まかな動作原理は次のようになっています。</p>
<h2 id="%E6%9C%AC%E4%BD%93">
<a class="header-anchor-link" href="#%E6%9C%AC%E4%BD%93" aria-hidden="true"></a> 本体</h2>
<p>服従の天秤は、3Dモデルを作成し3Dプリンタで作成しました。<br>
3Dモデルを0から作ったので少し大変でしたが、その分ものづくり感が出てよかったなと思ってます。</p>
<h3 id="3d%E3%83%A2%E3%83%87%E3%83%AA%E3%83%B3%E3%82%B0">
<a class="header-anchor-link" href="#3d%E3%83%A2%E3%83%87%E3%83%AA%E3%83%B3%E3%82%B0" aria-hidden="true"></a> 3Dモデリング</h3>
<p>今回はFusion360という機械部品などのモデルを作成できる3DCADソフトを使いました。<br>
非常に高機能で使いやすいにも関わらず、個人用途なら無料で使える最強のソフトです。</p>
<p>モデリングの雰囲気はこんな感じです。</p>
<p>フリーの3DモデリングソフトといえばBlenderも候補に上がるかと思いますが、それぞれ向き不向きがあるので、適切に選択します！　<br>
私の思う向き不向きはこんな感じです！</p>
<table>
<thead>
<tr>
<th>項目</th>
<th>Fusion 360</th>
<th>Blender</th>
</tr>
</thead>
<tbody>
<tr>
<td>寸法がきっちり決まっているもの</td>
<td>⚪︎</td>
<td>△</td>
</tr>
<tr>
<td>後から一部分だけ寸法を変えたい</td>
<td>⚪︎</td>
<td>×</td>
</tr>
<tr>
<td>表面の微妙な加減を感覚で調整したいもの</td>
<td>×</td>
<td>⚪︎</td>
</tr>
<tr>
<td>部品を組み合わせたりしたい</td>
<td>⚪︎</td>
<td>△</td>
</tr>
<tr>
<td>キャラクタなどの曲線が多いもの</td>
<td>△</td>
<td>⚪︎</td>
</tr>
<tr>
<td>力学計算をしたいもの</td>
<td>⚪︎</td>
<td>×</td>
</tr>
</tbody>
</table>
<h3 id="3d%E3%83%97%E3%83%AA%E3%83%B3%E3%82%BF">
<a class="header-anchor-link" href="#3d%E3%83%97%E3%83%AA%E3%83%B3%E3%82%BF" aria-hidden="true"></a> 3Dプリンタ</h3>
<p>前に衝動買いしたanycubicのkobra 2という機種で印刷しました。<br>
<img src="https://storage.googleapis.com/zenn-user-upload/3136cc1683d4-20240326.webp" loading="lazy" class="md-img"><br>
この3Dプリンターは低価格にも関わらず早いスピードで印刷できるのがおすすめポイントです！<br>
印刷時間はトータルで6時間くらいだったと思います。</p>
<h2 id="%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E6%A7%8B%E6%88%90">
<a class="header-anchor-link" href="#%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E6%A7%8B%E6%88%90" aria-hidden="true"></a> システム構成</h2>
<h3 id="%E6%9C%8D%E5%BE%93%E3%81%AE%E5%A4%A9%E7%A7%A4%E3%81%AE%E5%BF%83%E8%87%93">
<a class="header-anchor-link" href="#%E6%9C%8D%E5%BE%93%E3%81%AE%E5%A4%A9%E7%A7%A4%E3%81%AE%E5%BF%83%E8%87%93" aria-hidden="true"></a> 服従の天秤の心臓</h3>
<p>色々考えた結果服従の天秤を動かす心臓(マイコン)には次の機能が必要だと考えました。</p>
<ul>
<li>画像を撮影できること</li>
<li>wlanに接続できること</li>
<li>服従の天秤に入ること</li>
<li>3.3vで動作すること(昇圧回路とか邪魔なので)</li>
<li>ArduinoかMycroPythonで開発できること(個人的な理由)</li>
</ul>
<p>上記を満たすマイコンとして、家の中を探し回り、<br>
「Seeed Studioの XIAO ESP32S3」というマイコンを使うことにしました。<br>
(秋月電子でこれまた衝動買いしたもの)<br>
<img src="https://storage.googleapis.com/zenn-user-upload/2bf155ea3d46-20240326.png" loading="lazy" class="md-img"></p>
<p>約2cm四方のサイズでめっちゃ小さいのに機能てんこ盛りで、IoTには必需品なんじゃないかと思う逸品です。</p>
<ul>
<li>CPUクロック　240 MHz</li>
<li>解像度 1600*1200 のカメラ搭載</li>
<li>2.4GHz Wi-Fi と BLE　に対応</li>
<li>TFカードスロット搭載</li>
<li>Lipoバッテリ充電回路あり</li>
</ul>
<h3 id="%E3%83%90%E3%83%83%E3%82%AF%E3%82%A8%E3%83%B3%E3%83%89">
<a class="header-anchor-link" href="#%E3%83%90%E3%83%83%E3%82%AF%E3%82%A8%E3%83%B3%E3%83%89" aria-hidden="true"></a> バックエンド</h3>
<p>バックエンドでは服従の天秤から送られてきた画像に対して次の処理を行い、最終的に魔力量を服従の天秤に返します。</p>
<ul>
<li>人物のみ切り抜き</li>
<li>アニメ風イラストに変換</li>
<li>GPT v4に魔力量を考えてもらう</li>
</ul>
<p>今回は開発スピードを考えてGoogle Colabolatryで開発しました。</p>
<h4 id="%E4%BA%BA%E7%89%A9%E3%81%AE%E3%81%BF%E5%88%87%E3%82%8A%E6%8A%9C%E3%81%8D">
<a class="header-anchor-link" href="#%E4%BA%BA%E7%89%A9%E3%81%AE%E3%81%BF%E5%88%87%E3%82%8A%E6%8A%9C%E3%81%8D" aria-hidden="true"></a> 人物のみ切り抜き</h4>
<p>pythonの<code>rembg</code>というライブラリを使って簡単に切り抜くことができきました。<br>
こんな感じに切り抜けます。</p>
<p><img src="https://storage.googleapis.com/zenn-user-upload/f73c09130a06-20240515.png" loading="lazy" class="md-img"></p>
<p>↓</p>
<p><img src="https://storage.googleapis.com/zenn-user-upload/83202ddc99c7-20240515.png" loading="lazy" class="md-img"></p>
<h4 id="%E3%82%A2%E3%83%8B%E3%83%A1%E9%A2%A8%E3%82%A4%E3%83%A9%E3%82%B9%E3%83%88%E3%81%AB%E5%A4%89%E6%8F%9B">
<a class="header-anchor-link" href="#%E3%82%A2%E3%83%8B%E3%83%A1%E9%A2%A8%E3%82%A4%E3%83%A9%E3%82%B9%E3%83%88%E3%81%AB%E5%A4%89%E6%8F%9B" aria-hidden="true"></a> アニメ風イラストに変換</h4>
<p>StableDiffutionのMeinaMixを使い、イラストに変換しました</p>
<p><img src="https://storage.googleapis.com/zenn-user-upload/a23159a8516a-20240515.png" loading="lazy" class="md-img"></p>
<p>↓</p>
<p><img src="https://storage.googleapis.com/zenn-user-upload/0214e04a285d-20240515.png" loading="lazy" class="md-img"></p>
<h4 id="gpt-v4%E3%81%AB%E9%AD%94%E5%8A%9B%E9%87%8F%E3%82%92%E8%80%83%E3%81%88%E3%81%A6%E3%82%82%E3%82%89%E3%81%86">
<a class="header-anchor-link" href="#gpt-v4%E3%81%AB%E9%AD%94%E5%8A%9B%E9%87%8F%E3%82%92%E8%80%83%E3%81%88%E3%81%A6%E3%82%82%E3%82%89%E3%81%86" aria-hidden="true"></a> GPT v4に魔力量を考えてもらう</h4>
<p>変換した画像をGPT v4 APTに投げます。</p>
<p>プロンプトはこんな感じにしました。</p>
<div class="code-block-container"><pre><code>#役割
あなたは次の役になりきってください。
ここは魔法の使えるファンタジー世界です。あなたは王宮に仕える魔力測定士です。魔力測定士は、魔法使いを見るだけで、その魔力量を0から100で評価します。100が最大です。
#事前情報
魔力量100:人類の英知/一万年に一人
魔力量90:この領域に達する者はいない/1000年に一人
魔力量80:類まれなる才能をもつ魔法使い/500年に一人
魔力量50:天才を超える魔法使い/宮廷魔法使い
魔力量30:天才/魔法学校の首席
魔力量10:魔法が使える/見習い魔法使い
魔力量5:少し魔法が使える
魔力量1:村人
#タスク
この魔法使いの魔力量を0から100の自由な数値で測定してください。
#回答の仕方
{"power":{{魔力量}}, "comment": "{{理由}}"}
</code></pre></div><p>これでAPIを実行すると、、こんな感じに</p>
<div class="code-block-container"><pre><code>'{"power":70, "comment": "彼女のまわりに存在する魔力のオーラは非常に際立っており、しかしまだ完全なる力を解放しているようには見受けられません。定められた評価基準に基づくと、彼女の魔力量は80に迫るがまだそこに到達していない、非凡な潜在能力を秘めた魔法使いと推測されます。"}'
</code></pre></div><p>この情報をレスポンスとして、天秤のマイコンで<code>power</code>に基づいて、天秤を動作させるという仕組みです！</p>
<h1 id="%E6%9C%80%E5%BE%8C%E3%81%AB">
<a class="header-anchor-link" href="#%E6%9C%80%E5%BE%8C%E3%81%AB" aria-hidden="true"></a> 最後に</h1>
<p>私の勤務先の紹介をちょこっとします！</p>
<p>株式会社ウェイブでは、電子コミックやアニメの配信サービスなどを自社開発で運営しております。<br>
新しい技術を積極的に取り入れたモダンな環境が整っているウェイブで一緒に働いてみませんか？<br>
興味ある方は是非こちらをご覧ください！</p>
<p><span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__dddbe02c50fe6" src="https://embed.zenn.studio/card#zenn-embedded__dddbe02c50fe6" data-content="https%3A%2F%2Frecruit.wwwave.jp%2F" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://recruit.wwwave.jp/" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://recruit.wwwave.jp/</a></p>


IoT×生成AIでリアル服従の天秤を作ってみた

エンタメ

葬送のフリーレン

Discussion