<h1 id="%E3%81%AF%E3%81%98%E3%82%81%E3%81%AB">
<a class="header-anchor-link" href="#%E3%81%AF%E3%81%98%E3%82%81%E3%81%AB" aria-hidden="true"></a> はじめに</h1>
<aside class="msg alert"><span class="msg-symbol">!</span><div class="msg-content">
<p>本記事は技術的価値をほとんど持ちません。</p>
</div></aside>
<p>セキュリティキャンプというやつに行ってきました。疲れた...<br>
非常に長いですね。4泊5日は苦しいものがありました。そもそもnot模範的学生なのでいっぱい椅子に座る時点で大変な行動でした。禁酒・禁煙<br>
来年応募する人や受講してる人、受講した人とかが読んでくれたらいいねと言った感じで書こうと思います。<br>
「AI attack&amp;defence」の講義内コンペの私の解法（雑)を書いておきますので、未来で勝ちたいあなたは必読です(?)。あとはお気持ち表明です。</p>
<h1 id="%E5%BF%9C%E5%8B%9F%E8%AA%B2%E9%A1%8C%E3%81%A8%E3%81%8B">
<a class="header-anchor-link" href="#%E5%BF%9C%E5%8B%9F%E8%AA%B2%E9%A1%8C%E3%81%A8%E3%81%8B" aria-hidden="true"></a> 応募課題とか</h1>
<p>課題は文章でゴリゴリ書く感じのものでした。何も実装していません。<br>
<img src="https://storage.googleapis.com/zenn-user-upload/0c3e6f062b84-20230812.png" alt loading="lazy" class="md-img"><br>
カスのコミットログで悲しいんですが、多分5/21,22で書いたっぽいですね。中間テストとかぶって大困りしました。<br>
課題の記述には、倫理的設問と技術的設問で意識を切り替えていました。倫理的設問ではとにかく議論が発散しないように一貫した主張を用意すること、技術的設問では実装可能性を大切にリファレンスなどを適切につけながら記述することを意識していました。あとは一般的な話で、読みやすい文章フォーマットとか、オリジナリティとかそう言ったところは意識した気がします。未来の応募者で、実物(全文)が見たいよ〜〜みたいな人はTwitterにでも連絡いただけたらお送りします。応募課題晒しをするほどの胆力は私にはありません...<br style="display:none">
<span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__118542e0abbda" src="https://embed.zenn.studio/card#zenn-embedded__118542e0abbda" data-content="https%3A%2F%2Ftwitter.com%2Fiammytoo" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://twitter.com/iammytoo" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://twitter.com/iammytoo</a></p>
<h1 id="%E5%80%AB%E7%90%86%E3%81%AE%E8%AC%9B%E7%BE%A9">
<a class="header-anchor-link" href="#%E5%80%AB%E7%90%86%E3%81%AE%E8%AC%9B%E7%BE%A9" aria-hidden="true"></a> 倫理の講義</h1>
<p>次の講義をやりました。</p>
<ul>
<li>AIとセキュリティについての議論
<ul>
<li>AIと責任</li>
<li>AIと規制</li>
<li>AIと善悪</li>
</ul>
</li>
<li>AI最前線情報</li>
</ul>
<p>議論では、他の受講生の感受性や倫理観の高さに驚くところがありました。私は割と機械を信じている側面もあって、例えば判例のたくさんあるタイプの裁判などでは機械に判断を委ねてもいいよねみたいな意見でした。議論していると、もっと複雑な感情でAIによる決定を考える人が多い印象でした。言語化するのが上手い人が多くて、すごいな〜と感じるところがありました。</p>
<h1 id="%E6%8A%80%E8%A1%93%E3%81%AE%E8%AC%9B%E7%BE%A9">
<a class="header-anchor-link" href="#%E6%8A%80%E8%A1%93%E3%81%AE%E8%AC%9B%E7%BE%A9" aria-hidden="true"></a> 技術の講義</h1>
<p>次の講義をやりました。</p>
<ul>
<li>敵対的サンプルの講義
<ul>
<li>存在・理論の紹介</li>
<li>ハンズオンでの実行</li>
<li>攻撃・防衛を行う競技</li>
</ul>
</li>
<li>機械が生成した文章の判別機を作る
<ul>
<li>機械による文章の特徴を議論</li>
<li>実装</li>
</ul>
</li>
</ul>
<h2 id="%E6%95%B5%E5%AF%BE%E7%9A%84%E3%82%B5%E3%83%B3%E3%83%97%E3%83%AB%E3%81%AE%E8%AC%9B%E7%BE%A9">
<a class="header-anchor-link" href="#%E6%95%B5%E5%AF%BE%E7%9A%84%E3%82%B5%E3%83%B3%E3%83%97%E3%83%AB%E3%81%AE%E8%AC%9B%E7%BE%A9" aria-hidden="true"></a> 敵対的サンプルの講義</h2>
<h3 id="%E8%AC%9B%E7%BE%A9%E3%81%AE%E5%86%85%E5%AE%B9">
<a class="header-anchor-link" href="#%E8%AC%9B%E7%BE%A9%E3%81%AE%E5%86%85%E5%AE%B9" aria-hidden="true"></a> 講義の内容</h3>
<p>『実践 AIシステム Attack&amp;Defense』という講義です。詳細は講師の方が運営されている<a href="https://jpsec.ai/" target="_blank" rel="nofollow noopener noreferrer">AIディフェンス研究所</a>の連載記事「Adversarial Robustness Toolbox（ART）超入門」を追うとある程度似ている気がしています。とても良い内容でした。理論は知っていても実行したことはない手法もあり、ハンズオンを通してかなり理解が深まりました。特に印象的だったのは敵対的学習の効果でした。これまで自分は機械学習のタスクをこなす際も汎化性能に手いっぱいで、セキュアであるかという点に意識を持って行ったことがなかったのですが、適切に防衛を施すと、かなり強度をあげられることを認識して驚きました。<br>
<img src="https://storage.googleapis.com/zenn-user-upload/3d88fba89fc5-20230812.png" alt loading="lazy" class="md-img"></p>
<h2 id="%E6%A9%9F%E6%A2%B0%E3%81%8C%E7%94%9F%E6%88%90%E3%81%97%E3%81%9F%E6%96%87%E7%AB%A0%E3%81%AE%E5%88%A4%E5%88%A5%E6%A9%9F%E3%82%92%E4%BD%9C%E3%82%8B">
<a class="header-anchor-link" href="#%E6%A9%9F%E6%A2%B0%E3%81%8C%E7%94%9F%E6%88%90%E3%81%97%E3%81%9F%E6%96%87%E7%AB%A0%E3%81%AE%E5%88%A4%E5%88%A5%E6%A9%9F%E3%82%92%E4%BD%9C%E3%82%8B" aria-hidden="true"></a> 機械が生成した文章の判別機を作る</h2>
<p>ディスカッションをした後、できる範囲での実装を行いました。<br>
実装に使える時間が2時間程度でデータもなかったので、ルールベースなんですが、AIっぽさを人間が考えて、それをスコアリングする感じでやりました。</p>
<ul>
<li>単語のバリエーション</li>
<li>文章内urlなど事実の確認</li>
<li>語尾の特徴を精査</li>
<li>表記揺れ精査</li>
</ul>
<p>みたいなのを実装した感じです。(雑) 形態素解析に魂を売っています。<br>
実装までは行きつかなかったこととして</p>
<ul>
<li>文章のリズムを解析する
<ul>
<li>並列要素の文章量が似ている</li>
</ul>
</li>
<li>固有名詞にHallucinationがないかをチェックする</li>
<li>上記スコア群をLGBMなどに突っ込んでモデルを用意する</li>
</ul>
<p>みたいなのがあります。<a href="https://gptzero.me/" target="_blank" rel="nofollow noopener noreferrer">GPTZero</a>などを見ても、高精度で判別機を用意するのはかなり難しそうな印象がありますね...&gt;&lt;</p>
<h1 id="%E5%85%B1%E9%80%9A%E8%AC%9B%E7%BE%A9">
<a class="header-anchor-link" href="#%E5%85%B1%E9%80%9A%E8%AC%9B%E7%BE%A9" aria-hidden="true"></a> 共通講義</h1>
<p>今回のセキュリティキャンプを通して最も記憶に残ったことの一つに、共通講義でのプレゼンがありました。(ちょっとクローズド情報っぽいので詳しくは書きませんが...)思想面ですごく影響を受けたので、もしseccampへの参加を迷っているのであれば、ぜひあなたも参加してみてくださいといった感じです。</p>
<h1 id="ai-attack%26defence">
<a class="header-anchor-link" href="#ai-attack%26defence" aria-hidden="true"></a> AI attack&amp;defence</h1>
<p>このコンペの記憶が強く、おそらくこの記事が読まれる時、多くの理由がこの項にあると思うので、ちょっと詳しく書いていきたいと思います。<br>
上記した敵対的サンプルの講義のまとめとして、受講生内でのコンペが行われました。これについて、自分がとったアプローチを記述しておきたいと思います。</p>
<h2 id="%E3%82%B3%E3%83%B3%E3%83%9A%E3%81%AE%E3%83%AB%E3%83%BC%E3%83%AB">
<a class="header-anchor-link" href="#%E3%82%B3%E3%83%B3%E3%83%9A%E3%81%AE%E3%83%AB%E3%83%BC%E3%83%AB" aria-hidden="true"></a> コンペのルール</h2>
<ul>
<li>各競技者は攻撃と防御をそれぞれ行う
<ul>
<li>攻撃とは、画像分類モデルに対して、敵対的サンプルによるノイズを載せて誤分類を引き起こそうとする行為</li>
<li>防御とは、敵対的サンプルを含むテストケースについても、正しいクラスに分類するMLモデルを作成する行為</li>
</ul>
</li>
<li>攻撃者としては次の動作を行う
<ul>
<li>各参加者に対して、敵対的サンプルを30分に一度送る</li>
<li>誤分類を引き起こしたケース数に応じてスコアを取得する</li>
</ul>
</li>
<li>防御者としては次の動作を行う
<ul>
<li>敵対的サンプルに対して頑健なモデルを用意してアップロードする</li>
<li>このモデルを頑健にすれば、他の参加者が攻撃によって取得できる得点を下げることができる</li>
<li>30分に一度、運営側がモデルに対してサンプルを投げる。これの正答数に応じてスコアを取得する</li>
</ul>
</li>
</ul>
<h2 id="%E6%96%B9%E9%87%9D">
<a class="header-anchor-link" href="#%E6%96%B9%E9%87%9D" aria-hidden="true"></a> 方針</h2>
<h3 id="%E9%81%94%E6%88%90%E3%81%A7%E3%81%8D%E3%81%9F%E3%81%93%E3%81%A8">
<a class="header-anchor-link" href="#%E9%81%94%E6%88%90%E3%81%A7%E3%81%8D%E3%81%9F%E3%81%93%E3%81%A8" aria-hidden="true"></a> 達成できたこと</h3>
<ul>
<li>攻撃者
<ul>
<li>環境のメタ読み
<ul>
<li>授業でFGSMが紹介されたので、みんなFGSMに対する敵対的学習などをしてくるんじゃないかな...?などと</li>
</ul>
</li>
<li>FGSM以外での攻撃
<ul>
<li>PGDやFABなどを試してみて、各防御者に対して有効な方法を探索していた</li>
</ul>
</li>
<li>他者に効きやすそうな攻撃用モデルの構築
<ul>
<li>今回はブラックボックスへの攻撃なので、相手のモデルをドンピシャで当てられれば攻撃能力は上がる</li>
<li>メタ読みに基づいてFGSMで敵対的学習をしたモデルに対して強くなるように攻撃用のモデルを構築した</li>
</ul>
</li>
<li>ルールの上界を探索
<ul>
<li>今回のルールでは、攻撃側はとある閾値(非公開情報)までしかノイズを載せられず、閾値を超えた量のノイズを載せた画像はシステムに弾かれる</li>
<li>伝家の宝刀、手動二分探索で許される閾値の値を探索して提出する</li>
</ul>
</li>
</ul>
</li>
<li>防御者
<ul>
<li>モデルの精度をあげる
<ul>
<li>ベースラインより学習量を増やす</li>
<li>データのaugumentationを実施する</li>
</ul>
</li>
<li>敵対的学習をする
<ul>
<li>メタ読みに基づいて、参加者が使ってきそうな攻撃用モデルに対して敵対的学習をする</li>
</ul>
</li>
<li>テストデータがリークしているので、それらを混ぜて学習した(邪道)</li>
</ul>
</li>
</ul>
<h3 id="%E6%99%82%E9%96%93%E3%81%8C%E8%B6%B3%E3%82%8A%E3%81%AA%E3%81%8B%E3%81%A3%E3%81%9F%E3%81%93%E3%81%A8">
<a class="header-anchor-link" href="#%E6%99%82%E9%96%93%E3%81%8C%E8%B6%B3%E3%82%8A%E3%81%AA%E3%81%8B%E3%81%A3%E3%81%9F%E3%81%93%E3%81%A8" aria-hidden="true"></a> 時間が足りなかったこと</h3>
<p>対策に使える時間が一晩しかなかったので、頓挫したことが多くありました...&gt;&lt;</p>
<ul>
<li>攻撃者
<ul>
<li>もうちょっとリサーチしたかった...</li>
<li>攻撃手法のアンサンブルとかしたかったけど、閾値の探索あたりで時間が足りなくなりそうだったので競技中は断念</li>
</ul>
</li>
<li>防御者
<ul>
<li>モデルのアーキテクチャを大きく変更する
<ul>
<li>とにかく強かったらいいんじゃないと思ってResNetをベースにしたモデルを用意した</li>
<li>汎化性能モリモリの大型モデルよりも、小さめのモデルで敵対的学習をちゃんとやった方が(コンペにおいては)強かった</li>
<li>計算資源不足によって断念</li>
</ul>
</li>
<li>前処理をやる
<ul>
<li>やれなかった...</li>
<li>正味モデルのアーキテクチャの実験をしていて時間切れ</li>
<li>これをちゃんとやった方が強かった気がする</li>
<li>圧縮やsqueezingなど、講義でやった内容すら実装（というより学習時間)が間に合わなかった...</li>
</ul>
</li>
<li>データを増やす（v2)
<ul>
<li>学習時augumentationなども画像分類だと定石</li>
<li>前処理をした画像を4つとかくっつけて大きい画像をモデルに突っ込むとかなり良さそう</li>
</ul>
</li>
</ul>
</li>
</ul>
<h2 id="%E7%B5%90%E6%9E%9C">
<a class="header-anchor-link" href="#%E7%B5%90%E6%9E%9C" aria-hidden="true"></a> 結果</h2>
<p>勝てた〜〜〜。正直やろうとしたことはあまりうまく行ってなかったのですが、メタ読みがうまく行って勝てました。うれしい。<br>
<img src="https://storage.googleapis.com/zenn-user-upload/0058a92343b6-20230814.png" alt width="300" loading="lazy" class="md-img"><br>
<img src="https://storage.googleapis.com/zenn-user-upload/005b3977da5c-20230812.png" alt width="300" loading="lazy" class="md-img"></p>
<h1 id="%E9%96%89%E8%AC%9B%E5%BC%8F%E3%81%A8%E3%81%8B">
<a class="header-anchor-link" href="#%E9%96%89%E8%AC%9B%E5%BC%8F%E3%81%A8%E3%81%8B" aria-hidden="true"></a> 閉講式とか</h1>
<p>成果発表では、専門コースの代表として修了証を受け取りました。不思議。思ったよりお堅い感じの雰囲気でちょっと緊張しちゃいました。<br>
髪が長すぎる写真が公開されていてウケました。髪切れ。<br style="display:none">
<span class="embed-block zenn-embedded zenn-embedded-tweet"><iframe id="zenn-embedded__a53f9a248962b" src="https://embed.zenn.studio/tweet#zenn-embedded__a53f9a248962b" data-content="https%3A%2F%2Ftwitter.com%2Fsecurity_camp%2Fstatus%2F1689906404554153984" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://twitter.com/security_camp/status/1689906404554153984" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://twitter.com/security_camp/status/1689906404554153984</a></p>
<h1 id="%E7%B5%82%E3%82%8F%E3%82%8A%E3%81%AB">
<a class="header-anchor-link" href="#%E7%B5%82%E3%82%8F%E3%82%8A%E3%81%AB" aria-hidden="true"></a> 終わりに</h1>
<p>めちゃくちゃいい体験になりました。朝ごはんに1/4回しか出席できなかったのが悔やまれますね。<br>
AIセキュリティを学んだはずなんですが、セキュリティキャンプを通じてシステムプログラミングへの興味がめちゃくちゃ沸いています。やりたい。<br>
もちろんAIセキュリティもやりたい。普通に何も知らないので...<br>
講義通して時間が足りず頓挫系がかなり多かったので、追々どうやったらよかったなみたいなのを埋めていきたいですね。<br>
コンペは来年開かれるのかわからないですが、開かれたら上記を参考に戦ってみてください!</p>


seccamp23(AIセキュリテイ)参加記

機械が生成した文章の判別機を作る

Discussion