Open3
画像生成モデルをローカルで動かすメモ
Koki Ibukuro良いWindows PCとグラボ持っている人はそれを使うとして、
MacBook Pro、iPhone、Androidなどでもローカル環境で使いたい、って人たちのためのメモ。
…まあ普通にWebUI使えって話なのですが、個人的な嗜好としてのメモ。
Koki IbukuroMaple Diffusion
オリジナル
Swift Package Manager バージョン。
Apple MPSGraph上で動かすため、高速にApple製品上で動くらしい。SwiftUIにも対応していて、コードもAPIも素敵。
現状シンプルなText to ImageのAPIしか出ていないので、In-painting, Out-paintingが出てくるのをウォッチ中。
Koki IbukuroSwift Diffusion
こちらはオリジナルのCベースの画像処理フレームワークである、CCV。そのサブパッケージとしてNNCというDeep Learning Inference 機能が付いてるっぽい。Deep Learning以外にも依存なしでモダンな画像処理が動かせるらしいので、OpenCVほどでかいの入れたくないときの選択肢としてありかもしれない。
すでにiPhoneで実行できるアプリが公開されている。
また、iPhoneにおけるメモリリミットを超えるためにやったことはブログに詳細に残されている。
text to imageだけでなく、image to image, in-paintingが実装されているので、機能は豊富っぽい。がソースコードを見た感じCPUで動かしてる気もする。どちらが早いか比べてみる