セキュリティキャンプ2024 AIセキュリティクラス D2講義「クラウドソーシングによる学習データ作成と品質管理」の講義資料を公開します！

セキュリティキャンプ2024 AIセキュリティクラス D2講義「クラウドソーシングによる学習データ作成と品質管理」の講義資料を公開します！

講義概要等はIPAの公式サイトをご覧ください．
https://www.ipa.go.jp/jinzai/security-camp/2024/camp/zenkoku/program/d.html#d2

<内容>

• イントロダクション（p.1～21）
• クラウドソーシングのタスク設計と割り当て (p.22～28）
  • タスク設計
  • タスク割り当て
  • クラウドソーシング・ワークフロー
• クラウドソーシングの結果集約 （p.49～76）
  • ワーカ間一致度の紹介
    • クリッペンドルフのαの計算方法
    • クリッペンドルフのαをPythonで計算する
  • 潜在クラスモデルによる集約
    • Dawid-Skene法の紹介・アルゴリズム
    • Dawid-Skene法をPythonで利用する
• 能動学習とHuman-in-the-loop （p.77～98）
  • 能動学習の紹介
  • 不確実性サンプリング
  • 多様性サンプリング