【USDZ】AIを使ってモデリングする
はじめに
visionOSアプリを作成するとき、3Dモデルで表現したいものはたくさんありますが、僕はモデリングが全くできません。
Sketchfabで探してみたりしますが、なかなか自分のイメージ通りのものが見つからず悩んでいました。
そんなとき、FujitoさんのPostを見て僕も同じようにやってみようと思いました。
つくったもの
使ったツール
- DALL-E
- Tripo
- Blender
- Mixamo
-
Reality Converter
※Xで書いた順番が少し違いました。
DALL−E
まずは、ChatGPTに課金して使用することができるDALL−Eを使って元となる画像を作成します。
何度かtryして、自分のイメージ通りの画像を生成するまで根気強く粘ります。
最近は、日本語でもイメージ通りの画像が出てくるようになりました。
伝統的な日本の鬼のシンプルなバージョン。この鬼は前から見た頭から手足までのTポーズの全身が描かれ、禍々しい角、詳細を抑えた野性的な黒髪、シンプルな伝統的な日本のタトゥーを持ち、白くて大きい目、鋭い牙、大きく筋肉質な体を特徴としています。肌の色は赤。基本的な袴を着用し、スタイルは浮世絵と漫画のデフォルメを融合させていますが、形状をシンプルにし、3Dモデリングを容易にするために詳細をあまり複雑にしていません。背景は白色で、鬼に焦点を当てています。
今回は顔がつぶれないようにしたかったので、頭身が少なくて目や口を大きくするようにしました。
頻繁にやりすぎるとすぐ制限がかかるのでプロンプトは慎重に。
Tripo
Tripoは画像から3Dモデルを生成することができます！
神ですね！！画像に背中はないのにちゃんと背面もいい感じに作成してくれました。
ただし、横向きとかだと画像のまま生成されるので、DALL−Eで丁寧に画像を作る必要があります。
・・・。
拡大してみると意外と崩れていることがわかります。
DALL−Eで生成した画像に影があったからですね。
Blender
なので、一旦Blenderにインポートし、Y軸で対称にします。
ついでにポリゴン数も減らしましょう。
あまりやりすぎると穴が空いちゃうのでほどほどに。
不要なものもここで削除して次のMixamoで動かせるようにしてからが望ましいです。
マテリアルなど確認してOKそうだったらfbxなどでExportします。
Mixamo
続いてアニメーションを追加しましょう！
またこれも神ツールで色々なアニメーションが揃っています。
UPLOAD CHARACTERで各ポイントを設定すると自動でリグを設定してくれます。
設定でアニメーションの詳細な設定もすることができます。
その場で歩かせたかったのでアニメーションは「walking」を選択し、in Placeにチェックを入れました。
完了したらfbxでDownloadします。
Reality Converter
最後にUSDZに変換するため、Reality Converterを使います。
通常であればfbxファイルをダブルクリックするだけでReality Converterを起動できると思います。
開いてみると・・・。
マテリアルがありませんね！
そこで、再度Blenderに戻り以下の手順でテクスチャを保存します。
そして、Reality ConverterのBase Colorに先程保存したテクスチャを設定することでBlenderで出力したモデルの状態になりました。
USDZにExportして完成です。
おわりに
以上、「AIを使ってモデリングする」でした。
少々テクスチャが荒かったりボーンの位置などが合ってない箇所もありますが、個人開発としては十分だと思います。
将来的には作成したモデルを元にプロに頼んでもいいかなと思いました。
Blenderも勉強していきます！
今後もvisionOSやXRについて発信していきますので、この記事が参考になったと思ったらぜひ♡をお願いします。
Discussion