🌱

えっちなサイトを作る(21)

2 min read

引き続きえっちなゲームがプレイできちゃうサイトを作ろうと頑張ります。

フーリエ変換に関わる話は苦手…。
何とか終わりました🤕

モザイク除去から学ぶ最先端のディープラーニング本をやる(8)

https://qiita.com/koshian2/items/aefbe4b26a7a235b5a5e

演習4-1

  • 画像ピラミッド
    • ガウシアンピラミッドの実装
    • ラプラシアンピラミッドの実装
    • モザイク画像への画像ピラミッド適用
    • ラプラシアンピラミッドでのモザイクの影響検証
      • モザイクは高周波成分に影響が大きい

演習4-2

  • フーリエ変換
    • sin関数のplot
    • fft変換とplot
    • 鋸波のplot,fft
    • ローパス、バンドパスフィルタの実装
  • 画像のフーリエ変換
    • fft2変換とplot
    • マスク画像を元にしたローパスフィルタ
      • ガウシアンぼかしと同じ結果になる
    • マスク画像を元にしたバンドパスフィルタ
      • 2重円のマスクを作成
    • Bicubicモザイク周波数成分
      • 高周波がつぶれる
    • NN法モザイクの周波数成分
      • 高周波がつぶれる
      • ブロックノイズが生じる
    • ガウシアンぼかしモザイクの周波数成分
      • Bicubicとほとんど同じ

5章 OPYデータセット

  • 画像回復に関するキーワード:Inpainting
  • 着衣画像のモザイクの回復は難しい
    • One-shotデータ
  • アノテーション
    • 各画像にBoundingBoxをつける作業
    • 専用ツールが有る(Vottなど)
    • アノテーションコスト
      • タスク軸
        • 問題に依存
      • ドメイン軸
        • 専門知識の有無
    • タスクが安ければ個人でデータセットを作る
      • 1万枚程度なら個人で作れる
      • 最初は数千枚から初めて、だんだん拡張していくとよい
  • データを作ることから逃げない
    • データ数はアルゴリズムを超える
    • GANでも多いほうがPerception Distorsionが改善する
    • データ数と精度は対数的
      • 1000->10000の向上度と1万->10万の向上度が同じぐらい
      • アノテーションコストは線形なので後者は10倍大変
  • 駄目なデータ収集
    • そもそも推論できる問題かを確認する
      • 人間で予想可能か?を問う
  • 自作データのメリット
    • タスクのミスマッチを避けた柔軟性のあるデータ
    • 間違いないデータクレンジング
  • データのスケール
    • データが多いと訓練時間が長くなる
      • 実験しづらい
    • 研究段階では、数千規模の小さなデータセットで行う
    • 精度が上がらなくなったらデータを拡大する
  • 具体的なデータ収集手法
  • データクレンジング
    • 白黒は除外
      • カラー画像に白黒の出力が含まれると困る
    • 極端なアスペクト比は除外
    • 同じような画風(差分画像)は偏るため上限を設定
  • Vottの使い方
  • リークに注意したTrain-test split
  • 前処理
  • 作成したデータセットの統計
  • Perception-Distortion Tradeoff
    • 直感性は定量評価できない
      • FIDで大まかに計る
    • PSNRだけでなく、複数の評価軸を持つことが大切
      • 人間の目の判断も大切

演習 データセットの利用

コードエラー。
画像サイトにのOAuthが追加されたため、ログイン処理部分を変更する必要ありそう。
長時間走らせてるとトークンの寿命が切れたりしそうなので、レジューム処理も必要か?
調査は次回に持ち越し。

終わりに

データセット作成など、かなり具体的な話になってきました。
自分の課題のデータセット作成についても考えつつ、
次回は演習問題のコード修正やっていく感じです。

Discussion

ログインするとコメントできます