Open2

なぜ僕はアノテーションをするのか

アノテーション
PINTOPINTO

きっかけ

  1. リサーチャーの期待に応えられなかった
  2. MediaPipe の性能がショボすぎてお遊びレベルなのに MediaPipe で評価された論文が多すぎ
  3. mmXX 使いにくい、分かりにくい
  4. Detectron 使いにくい、遅い、複雑過ぎ
  5. YOLOv9, YOLOX を除く YOLOvXX をリリースした組織が死ぬほど嫌い（実害あり）
  6. 高性能モデルを自作したいがパブリックデータセットはゴミしか公開されていないと悟りを開いた
  7. ラベルがつけられていない、あるいは、誤りラベルが付いたデータが多い、むしろ、そんなデータしかこの世には無い
  8. 一般的にはやらない、とされる領域のアドバイスをいただいた
  9. 小手先のアーキテクチャ改善でごく微量の性能向上で長年トップカンファに論文が通っているのがどうしても納得できなかった
  10. トップカンファに通っている論文の評価結果に全く納得感が無かった
  11. リアル環境の外乱に耐えうるレベルのモデルがどこを探しても無く、どれもお遊びモデルにしか見えなかった
  12. クリーンルームで収集したデータに対してクリーンルーム内だけで機械的に自動生成したノイズ付与のみでは実フィールドでのリアルなノイズをカバーしきれていない、お前らはフィールドで実際にテストしたのか
  13. ゴミデータで評価された微量の精度改善がゴミに偏った評価値になっていることに気づいた
  14. 期待した性能が出ない根本の原因の大部分はアーキテクチャのせいではなくデータセットのせいだ、と悟りを開いた
  15. 複数の学会で環境ノイズに負けた

方針

  1. まずは単タスクにおいて論文化されているモデルの性能を遥かに凌駕する性能を持つモデルを錬成する
  2. リーチできる考えうる出来る限り多くのパブリックデータセットを目視ですべて確認して弱点を洗い出す
  3. 普通はやらない部分をすべて救済する
  4. 「量」ではなく「質」のみに特化する
  5. ただし、「質」を担保し、弱点を全て徹底的にカバーしたうえで必要となる補強を施した結果「量」が必然的に増えることは良しとする
  6. バリデーションの数値は全て無視する、自作データの品質評価の観点でしか性能値は見ない
  7. レガシーアーキテクチャを構造非改変でマルチタスク化する
  8. レガシーアーキテクチャの本来のポテンシャルを引き出す
  9. データセットの定義の仕方のみでマルチタスク化を実現する
  10. アーキテクチャ内での特徴の共有を強く意識してラベル定義の検討のみに時間をしっかり使う
  11. 外乱に絶対負けないモデルを作る
  12. プライベートの時間のみで全てこなす、外野に絶対文句を言わせない

経過

  • 手作業で 1,000,000 ラベルを超えるアノテーション
  • まだラベルは大幅に増加中