bilzard

<h2 id="resnet%E3%81%AE%E3%82%A2%E3%83%BC%E3%82%AD%E3%83%86%E3%82%AF%E3%83%81%E3%83%A3">
<a class="header-anchor-link" href="#resnet%E3%81%AE%E3%82%A2%E3%83%BC%E3%82%AD%E3%83%86%E3%82%AF%E3%83%81%E3%83%A3" aria-hidden="true"></a> ResNetのアーキテクチャ</h2>
torchvisionのResNet(resnet18)のアーキテクチャを図示する[1]。
<ul>
<li>layer2以降の最初のblockではstride=2になっている。また、これらのblockではresidual pathと並行してstride=2の1x1 convが挿入されているので、residual blockは厳密には「残差」を表していない。</li>
</ul>
<img src="https://storage.googleapis.com/zenn-user-upload/a09d31d2895e-20231027.png" alt="resnet18" width="300" loading="lazy" class="md-img">
<h2 id="reference">
<a class="header-anchor-link" href="#reference" aria-hidden="true"></a> Reference</h2>
<ul>
<li>[1] <a href="https://github.com/pytorch/vision/blob/main/torchvision/models/resnet.py#L166" target="_blank" rel="nofollow noopener noreferrer">https://github.com/pytorch/vision/blob/main/torchvision/models/resnet.py#L166</a>
</li>
</ul>

<div class="code-block-container"><pre class="language-python"><code class="language-python">import torch.onnx

dummy_input = torch.randn(1, 3, 32, 32)
torch.onnx.export(model, dummy_input, "model.onnx")
</code></pre></div>ONNXでexportすると自動的にConv+BN fusionが適用されてBNレイヤが消える。 
<iframe id="zenn-embedded__f31a9a16b315" src="https://embed.zenn.studio/card#zenn-embedded__f31a9a16b315" data-content="https%3A%2F%2Fgithub.com%2Fpytorch%2Fpytorch%2Fissues%2F49226" frameborder="0" scrolling="no" loading="lazy"></iframe><a href="https://github.com/pytorch/pytorch/issues/49226" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://github.com/pytorch/pytorch/issues/49226</a>