<p>クロスのdockerイメージを動かすにはLinuxカーネルの<a href="https://www.kernel.org/doc/html/latest/admin-guide/binfmt-misc.html" target="_blank" rel="nofollow noopener noreferrer">binfmt_misc</a>のしくみとstatic linkされたqemuを使用します。<br>
<a href="https://zenn.dev/tetsu_koba/articles/ffda32a38f22aa" target="_blank">Oracle Cloudのarm64のインスタンス</a>では特に問題なくできました。</p>
<p>同じことをjetson nano でやってみたらうまくいかない。<br>
<code>warning: TCG doesn't support requested feature: CPUID.01H:ECX.vmx [bit 5]</code><br>
というメッセージが連発して、dpkgやaptが異常終了してしまいます。<br>
このメッセージで検索すると以下の記事がヒットしました。全く同じ状況です。</p>
<p><span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__74d4728318b8d" src="https://embed.zenn.studio/card#zenn-embedded__74d4728318b8d" data-content="https%3A%2F%2Fshintarof.hatenablog.com%2Fentry%2F2020%2F03%2F21%2F014359" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://shintarof.hatenablog.com/entry/2020/03/21/014359" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://shintarof.hatenablog.com/entry/2020/03/21/014359</a><br style="display:none">
この記事では<a href="https://qiita.com/tetsu_koba/items/c66069933c538598da64" target="_blank" rel="nofollow noopener noreferrer">私が過去に書いた記事</a>が引用されていました。活用してくれるのは嬉しいものです。</p>
<p>さて、同じことがOracle Cloudではできて、jetson nanoではできないのはなぜなのか気になります。<br>
両者のcpuinfoを比べてみます。</p>
<div class="code-block-container">
<div class="code-block-filename-container"><span class="code-block-filename">Oracle</span></div>
<pre class="language-shell-session"><code class="language-shell-session"><span class="token command"><span class="token shell-symbol important">$</span> <span class="token bash language-bash"><span class="token function">cat</span> /proc/cpuinfo</span></span>

<span class="token output">...

processor	: 3
BogoMIPS	: 50.00
Features	: fp asimd evtstrm aes pmull sha1 sha2 crc32 atomics fphp asimdhp cpuid asimdrdm lrcpc dcpop asimddp ssbs
CPU implementer	: 0x41
CPU architecture: 8
CPU variant	: 0x3
CPU part	: 0xd0c
CPU revision	: 1
</span></code></pre>
</div><div class="code-block-container">
<div class="code-block-filename-container"><span class="code-block-filename">jetson nano</span></div>
<pre class="language-shell-session"><code class="language-shell-session"><span class="token command"><span class="token shell-symbol important">$</span> <span class="token bash language-bash"><span class="token function">cat</span> /proc/cpuinfo</span></span>

<span class="token output">...

processor	: 1
model name	: ARMv8 Processor rev 1 (v8l)
BogoMIPS	: 38.40
Features	: fp asimd evtstrm aes pmull sha1 sha2 crc32
CPU implementer	: 0x41
CPU architecture: 8
CPU variant	: 0x1
CPU part	: 0xd07
CPU revision	: 1
</span></code></pre>
</div><p>jetson nanoの方は<code>Features</code> の項目がかなり少ないです。arm64の初期型のためです。</p>
<p><code>cpuid</code>というのが気になります。これでいろいろ検索してみるとx86_64には<code>CPUID</code>という命令があり、これで現在実行中のCPUコアを識別することができます。これと同等のことをarm64でやるのは<code>Multiprocessor Affinity Register　(MPIDR_EL1)</code>を読むことでできます。しかし、jetson nanoのCPUではこのレジスタはユーザーモード(EL0)からは読むことができず、<a href="https://man7.org/linux/man-pages/man2/getcpu.2.html" target="_blank" rel="nofollow noopener noreferrer"><code>getcpu</code></a>というLinuxカーネルのシステムコールを呼ぶことで同等のことが実現できます。一方、　OracleのCPUではこのレジスタをユーザーモードから読むことができるようになっています。<code>/proc/cpuinfo</code>の<code>Features</code>の<code>cpuid</code>がこれを示しています。</p>
<p><code>warning: TCG doesn't support requested feature: CPUID.01H:ECX.vmx [bit 5]</code><br>
このメッセージの意味はCPUIDがユーザーモードから読めないということを訴えているようです。<br>
でもそれは、qemuが<code>getcpu</code>のシステムコールを呼ぶようなコードを生成すればいけるはずです。<br>
jetson nanoで使用していたqemuのバージョンは</p>
<div class="code-block-container"><pre class="language-shell-session"><code class="language-shell-session"><span class="token command"><span class="token shell-symbol important">$</span> <span class="token bash language-bash">/usr/bin/qemu-x86_64-static <span class="token parameter variable">--version</span></span></span>
<span class="token output">qemu-x86_64 version 2.11.1(Debian 1:2.11+dfsg-1ubuntu7.39)
Copyright (c) 2003-2017 Fabrice Bellard and the QEMU Project developers
</span></code></pre></div><p>最新のqemuは7.0.0なので、だいぶ古いものでした。</p>
<p>というわけで、新しいものをソースからビルドして差し替えてみました。その方法はこの記事に書きました。<br style="display:none">
<span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__e77bc3f584c0f" src="https://embed.zenn.studio/card#zenn-embedded__e77bc3f584c0f" data-content="https%3A%2F%2Fzenn.dev%2Ftetsu_koba%2Farticles%2Faf77c1e196f1a8" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://zenn.dev/tetsu_koba/articles/af77c1e196f1a8" style="display:none" target="_blank">https://zenn.dev/tetsu_koba/articles/af77c1e196f1a8</a></p>
<p>その結果、問題は解消しました！<br>
ブラボー!!</p>
<p>ただし、その実行速度はひどいもので全く実用にはなりません。計測していませんが、Oracleのものより10倍のオーダーで遅いです。</p>
<h2 id="%E8%BF%BD%E8%A8%98-2022.4.29">
<a class="header-anchor-link" href="#%E8%BF%BD%E8%A8%98-2022.4.29" aria-hidden="true"></a> 追記 2022.4.29</h2>
<p>qemu 7.0.0はメジャーバージョンアップの最初のものなので、安定性にやや難があるようでした。<br>
qemu 6.2.0に差し替えたら安定して動作しました。</p>
<h2 id="%E9%96%A2%E9%80%A3">
<a class="header-anchor-link" href="#%E9%96%A2%E9%80%A3" aria-hidden="true"></a> 関連</h2>
<p><a href="https://zenn.dev/tetsu_koba/articles/1f43feca0914f8" target="_blank">Momoをarm64のLinuxで(無理矢理)ビルドする</a></p>


Jetson nanoでx86_64のdockerイメージを動かす

Discussion