🌱

えっちなサイトを作る(21)

2021/08/15に公開

個人開発

idea

引き続きえっちなゲームがプレイできちゃうサイトを作ろうと頑張ります。

フーリエ変換に関わる話は苦手…。
何とか終わりました🤕

モザイク除去から学ぶ最先端のディープラーニング本をやる(8)

演習4-1

画像ピラミッド
- ガウシアンピラミッドの実装
- ラプラシアンピラミッドの実装
- モザイク画像への画像ピラミッド適用
- ラプラシアンピラミッドでのモザイクの影響検証
  - モザイクは高周波成分に影響が大きい

演習4-2

フーリエ変換
- sin関数のplot
- fft変換とplot
- 鋸波のplot,fft
- ローパス、バンドパスフィルタの実装
画像のフーリエ変換
- fft2変換とplot
- マスク画像を元にしたローパスフィルタ
  - ガウシアンぼかしと同じ結果になる
- マスク画像を元にしたバンドパスフィルタ
  - 2重円のマスクを作成
- Bicubicモザイク周波数成分
  - 高周波がつぶれる
- NN法モザイクの周波数成分
  - 高周波がつぶれる
  - ブロックノイズが生じる
- ガウシアンぼかしモザイクの周波数成分
  - Bicubicとほとんど同じ

5章 OPYデータセット

画像回復に関するキーワード：Inpainting
着衣画像のモザイクの回復は難しい
- One-shotデータ
アノテーション
- 各画像にBoundingBoxをつける作業
- 専用ツールが有る(Vottなど)
- アノテーションコスト
  - タスク軸
    - 問題に依存
  - ドメイン軸
    - 専門知識の有無
- タスクが安ければ個人でデータセットを作る
  - 1万枚程度なら個人で作れる
  - 最初は数千枚から初めて、だんだん拡張していくとよい
データを作ることから逃げない
- データ数はアルゴリズムを超える
- GANでも多いほうがPerception Distorsionが改善する
- データ数と精度は対数的
  - 1000->10000の向上度と1万->10万の向上度が同じぐらい
  - アノテーションコストは線形なので後者は10倍大変
駄目なデータ収集
- そもそも推論できる問題かを確認する
  - 人間で予想可能か？を問う
自作データのメリット
- タスクのミスマッチを避けた柔軟性のあるデータ
- 間違いないデータクレンジング
データのスケール
- データが多いと訓練時間が長くなる
  - 実験しづらい
- 研究段階では、数千規模の小さなデータセットで行う
- 精度が上がらなくなったらデータを拡大する
具体的なデータ収集手法
データクレンジング
- 白黒は除外
  - カラー画像に白黒の出力が含まれると困る
- 極端なアスペクト比は除外
- 同じような画風（差分画像）は偏るため上限を設定
Vottの使い方
リークに注意したTrain-test split
前処理
作成したデータセットの統計
Perception-Distortion Tradeoff
- 直感性は定量評価できない
  - FIDで大まかに計る
- PSNRだけでなく、複数の評価軸を持つことが大切
  - 人間の目の判断も大切

演習データセットの利用

コードエラー。
画像サイトにのOAuthが追加されたため、ログイン処理部分を変更する必要ありそう。
長時間走らせてるとトークンの寿命が切れたりしそうなので、レジューム処理も必要か？
調査は次回に持ち越し。

終わりに

データセット作成など、かなり具体的な話になってきました。
自分の課題のデータセット作成についても考えつつ、
次回は演習問題のコード修正やっていく感じです。