<h1 id="%E3%81%BE%E3%81%88%E3%81%8C%E3%81%8D">
<a class="header-anchor-link" href="#%E3%81%BE%E3%81%88%E3%81%8C%E3%81%8D" aria-hidden="true"></a> まえがき</h1>
<p>ROS2 galacticで独立差動二輪ロボットを自作しています。今回は自作ロボットに搭載しているラズパイ4にMIPIカメラを取り付け、ROS2のノードで画像を取ってみました。</p>
<h1 id="%E7%92%B0%E5%A2%83">
<a class="header-anchor-link" href="#%E7%92%B0%E5%A2%83" aria-hidden="true"></a> 環境</h1>
<ul>
<li>ラズパイ4（Ubuntu 20.04LTS) &amp; ROS2 galactic(インストール済みの前提です)</li>
<li>MIPIカメラ(<a href="https://www.arducam.com/product/arducam-ov5647-standard-raspberry-pi-camera-b0033/" target="_blank" rel="nofollow noopener noreferrer">ArduCamのOV5647を使ったもの</a>を使いましたがラズパイ4でサポートしていれば何でもいいんじゃないでしょうか）</li>
</ul>
<h1 id="%E6%89%8B%E9%A0%86">
<a class="header-anchor-link" href="#%E6%89%8B%E9%A0%86" aria-hidden="true"></a> 手順</h1>
<h2 id="mipi%E3%82%AB%E3%83%A1%E3%83%A9%E3%81%AE%E5%8F%96%E3%82%8A%E4%BB%98%E3%81%91">
<a class="header-anchor-link" href="#mipi%E3%82%AB%E3%83%A1%E3%83%A9%E3%81%AE%E5%8F%96%E3%82%8A%E4%BB%98%E3%81%91" aria-hidden="true"></a> MIPIカメラの取り付け</h2>
<p>FFCケーブルの表裏を注意して取り付けます。</p>
<h2 id="ubuntu20.04%E3%81%ABmipi%E3%82%AB%E3%83%A1%E3%83%A9%E3%82%92%E6%9C%89%E5%8A%B9%E3%81%AB%E3%81%99%E3%82%8B%E8%A8%AD%E5%AE%9A%E3%82%92%E8%BF%BD%E5%8A%A0">
<a class="header-anchor-link" href="#ubuntu20.04%E3%81%ABmipi%E3%82%AB%E3%83%A1%E3%83%A9%E3%82%92%E6%9C%89%E5%8A%B9%E3%81%AB%E3%81%99%E3%82%8B%E8%A8%AD%E5%AE%9A%E3%82%92%E8%BF%BD%E5%8A%A0" aria-hidden="true"></a> Ubuntu20.04にMIPIカメラを有効にする設定を追加</h2>
<h3 id="kernel%E3%81%8C%E3%82%AB%E3%83%A1%E3%83%A9%E3%82%92%E8%AA%8D%E8%AD%98%E3%81%97%E3%81%A6%E3%81%84%E3%82%8B%E3%81%8B%E3%82%92%E7%A2%BA%E8%AA%8D%E3%81%99%E3%82%8B">
<a class="header-anchor-link" href="#kernel%E3%81%8C%E3%82%AB%E3%83%A1%E3%83%A9%E3%82%92%E8%AA%8D%E8%AD%98%E3%81%97%E3%81%A6%E3%81%84%E3%82%8B%E3%81%8B%E3%82%92%E7%A2%BA%E8%AA%8D%E3%81%99%E3%82%8B" aria-hidden="true"></a> kernelがカメラを認識しているかを確認する</h3>
<p>v4l-ctlコマンドを使います。v4l-ctlはv4l-utilsパッケージに入っているようですのでインストールします。</p>
<div class="code-block-container"><pre class="language-shell-session"><code class="language-shell-session"><span class="token command"><span class="token shell-symbol important">$</span> <span class="token bash language-bash"><span class="token function">sudo</span> <span class="token function">apt</span> <span class="token function">install</span> v4l-utils</span></span>
</code></pre></div><p>コマンドを実行します。</p>
<div class="code-block-container"><pre class="language-shell-session"><code class="language-shell-session"><span class="token command"><span class="token shell-symbol important">$</span> <span class="token bash language-bash">v4l2-ctl --list-devices</span></span>
<span class="token output">bcm2835-codec-decode (platform:bcm2835-codec):
	/dev/video10
	/dev/video11
	/dev/video12
	/dev/media1

bcm2835-isp (platform:bcm2835-isp):
	/dev/video13
	/dev/video14
	/dev/video15
	/dev/video16
	/dev/media0

Cannot open device /dev/video0, exiting.
</span></code></pre></div><p><code>/dev/video0</code>が有効になっていれば認識されているらしいです。<code>Cannot open ...</code>となっており認識されていないようです。</p>
<p><code>/boot/firmware/config.txt</code>に以下を追加します。</p>
<div class="code-block-container"><pre><code>start_x=1
gpu_mem=128
</code></pre></div><p>以下の行より上に記載したほうが良いらしいです。</p>
<div class="code-block-container"><pre><code>include syscfg.txt
include usercfg.txt
</code></pre></div><p>OSを再起動します。</p>
<p>もう一度<code>v4l2-ctl --list-devices</code>で確認します。</p>
<div class="code-block-container"><pre class="language-shell-session"><code class="language-shell-session"><span class="token command"><span class="token shell-symbol important">$</span> <span class="token bash language-bash">v4l2-ctl --list-devices</span></span>
<span class="token output">bcm2835-codec-decode (platform:bcm2835-codec):
	/dev/video10
	/dev/video11
	/dev/video12
	/dev/media1

bcm2835-isp (platform:bcm2835-isp):
	/dev/video13
	/dev/video14
	/dev/video15
	/dev/video16
	/dev/media0

mmal service 16.1 (platform:bcm2835-v4l2):
	/dev/video0
</span></code></pre></div><p>今度は<code>Cannot open ...</code>ではなく<code>mmal service ...</code>のようになっており、認識されていることがわかります。</p>
<h2 id="v4l2-camera%E3%83%91%E3%83%83%E3%82%B1%E3%83%BC%E3%82%B8%E3%81%AE%E8%BF%BD%E5%8A%A0">
<a class="header-anchor-link" href="#v4l2-camera%E3%83%91%E3%83%83%E3%82%B1%E3%83%BC%E3%82%B8%E3%81%AE%E8%BF%BD%E5%8A%A0" aria-hidden="true"></a> v4l2-cameraパッケージの追加</h2>
<p>以下を実行してv4l2-cameraパッケージをインストールします。</p>
<div class="code-block-container"><pre class="language-shell-session"><code class="language-shell-session"><span class="token command"><span class="token shell-symbol important">$</span> <span class="token bash language-bash"><span class="token function">sudo</span> <span class="token function">apt</span> <span class="token function">install</span> ros-galactic-v4l2-camera</span></span>
</code></pre></div><h2 id="v4l2-camera%E3%83%8E%E3%83%BC%E3%83%89%E3%81%AE%E5%AE%9F%E8%A1%8C">
<a class="header-anchor-link" href="#v4l2-camera%E3%83%8E%E3%83%BC%E3%83%89%E3%81%AE%E5%AE%9F%E8%A1%8C" aria-hidden="true"></a> v4l2-cameraノードの実行</h2>
<p>以下を実行してv4l2-cameraノードを実行します。</p>
<div class="code-block-container"><pre class="language-shell-session"><code class="language-shell-session"><span class="token command"><span class="token shell-symbol important">$</span> <span class="token bash language-bash">ros2 run v4l2_camera v4l2_camera_node </span></span>
</code></pre></div><p>カメラのキャリブレーションファイルが無いのでワーニング・エラーがたくさん出ますが、とりあえず立ち上がります。</p>
<h2 id="%E3%83%8E%E3%83%BC%E3%83%89%E5%90%8D%E3%83%BB%E3%83%88%E3%83%94%E3%83%83%E3%82%AF%E5%90%8D%E3%81%AE%E7%A2%BA%E8%AA%8D">
<a class="header-anchor-link" href="#%E3%83%8E%E3%83%BC%E3%83%89%E5%90%8D%E3%83%BB%E3%83%88%E3%83%94%E3%83%83%E3%82%AF%E5%90%8D%E3%81%AE%E7%A2%BA%E8%AA%8D" aria-hidden="true"></a> ノード名・トピック名の確認</h2>
<p>どんなノード・トピックがあるか見てみます。</p>
<div class="code-block-container"><pre class="language-shell-session"><code class="language-shell-session"><span class="token command"><span class="token shell-symbol important">$</span> <span class="token bash language-bash">ros2 <span class="token function">node</span> list</span></span>
<span class="token output">/v4l2_camera
</span><span class="token command"><span class="token shell-symbol important">$</span> <span class="token bash language-bash">ros2 <span class="token function">node</span> info /v4l2_camera </span></span>
<span class="token output">/v4l2_camera
  Subscribers:
    /parameter_events: rcl_interfaces/msg/ParameterEvent
  Publishers:
    /camera_info: sensor_msgs/msg/CameraInfo
    /image_raw: sensor_msgs/msg/Image
    /parameter_events: rcl_interfaces/msg/ParameterEvent
    /rosout: rcl_interfaces/msg/Log
  Service Servers:
    /set_camera_info: sensor_msgs/srv/SetCameraInfo
    /v4l2_camera/describe_parameters: rcl_interfaces/srv/DescribeParameters
    /v4l2_camera/get_parameter_types: rcl_interfaces/srv/GetParameterTypes
    /v4l2_camera/get_parameters: rcl_interfaces/srv/GetParameters
    /v4l2_camera/list_parameters: rcl_interfaces/srv/ListParameters
    /v4l2_camera/set_parameters: rcl_interfaces/srv/SetParameters
    /v4l2_camera/set_parameters_atomically: rcl_interfaces/srv/SetParametersAtomically
  Service Clients:

  Action Servers:

  Action Clients:

</span><span class="token command"><span class="token shell-symbol important">$</span> <span class="token bash language-bash">ros2 topic list</span></span>
<span class="token output">/camera_info
/image_raw
/parameter_events
/rosout
</span></code></pre></div><p>ノード名はv4l2_camera、トピック名は/camera_infoと/image_rawがあるようです。</p>
<h2 id="%E7%94%BB%E5%83%8F%E3%81%8C%E9%80%81%E3%82%89%E3%82%8C%E3%81%A6%E3%81%84%E3%82%8B%E3%81%93%E3%81%A8%E3%82%92%E7%A2%BA%E8%AA%8D">
<a class="header-anchor-link" href="#%E7%94%BB%E5%83%8F%E3%81%8C%E9%80%81%E3%82%89%E3%82%8C%E3%81%A6%E3%81%84%E3%82%8B%E3%81%93%E3%81%A8%E3%82%92%E7%A2%BA%E8%AA%8D" aria-hidden="true"></a> 画像が送られていることを確認</h2>
<div class="code-block-container"><pre class="language-shell-session"><code class="language-shell-session"><span class="token command"><span class="token shell-symbol important">$</span> <span class="token bash language-bash">ros2 run rqt_image_view rqt_image_view</span></span>
</code></pre></div><p><img src="https://storage.googleapis.com/zenn-user-upload/34f973b30d02-20220211.png" alt loading="lazy" class="md-img"></p>
<h2 id="%E5%9C%A7%E7%B8%AE%E3%81%97%E3%81%9F%E7%94%BB%E5%83%8F%E3%83%87%E3%83%BC%E3%82%BF%E3%82%92publish%E3%81%A7%E3%81%8D%E3%82%8B%EF%BC%9F">
<a class="header-anchor-link" href="#%E5%9C%A7%E7%B8%AE%E3%81%97%E3%81%9F%E7%94%BB%E5%83%8F%E3%83%87%E3%83%BC%E3%82%BF%E3%82%92publish%E3%81%A7%E3%81%8D%E3%82%8B%EF%BC%9F" aria-hidden="true"></a> 圧縮した画像データをpublishできる？</h2>
<p>生(raw)のデータはトピックとしてpublishしていますが、圧縮したデータはpublishできるのでしょうか？<br>
ROSのドキュメントで確認したところ、image_transportという別のノードを使うようです。</p>
<p><span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__ffe7bbe05bba9" src="https://embed.zenn.studio/card#zenn-embedded__ffe7bbe05bba9" data-content="https%3A%2F%2Findex.ros.org%2Fr%2Fv4l2_camera%2F" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://index.ros.org/r/v4l2_camera/" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://index.ros.org/r/v4l2_camera/</a></p>
<h2 id="image-transport%E3%83%91%E3%83%83%E3%82%B1%E3%83%BC%E3%82%B8%E3%81%AE%E8%BF%BD%E5%8A%A0">
<a class="header-anchor-link" href="#image-transport%E3%83%91%E3%83%83%E3%82%B1%E3%83%BC%E3%82%B8%E3%81%AE%E8%BF%BD%E5%8A%A0" aria-hidden="true"></a> image-transportパッケージの追加</h2>
<p>以下を実行してimage-transportパッケージをインストールします。</p>
<div class="code-block-container"><pre class="language-shell-session"><code class="language-shell-session"><span class="token command"><span class="token shell-symbol important">$</span> <span class="token bash language-bash"><span class="token function">sudo</span> <span class="token function">apt</span> <span class="token function">install</span> ros-galactic-image-transport</span></span>
</code></pre></div><h2 id="image-transport%E3%83%8E%E3%83%BC%E3%83%89%E3%81%AE%E5%AE%9F%E8%A1%8C">
<a class="header-anchor-link" href="#image-transport%E3%83%8E%E3%83%BC%E3%83%89%E3%81%AE%E5%AE%9F%E8%A1%8C" aria-hidden="true"></a> image-transportノードの実行</h2>
<p>以下を実行してimage-transportノードを実行します。</p>
<div class="code-block-container"><pre class="language-shell-session"><code class="language-shell-session"><span class="token command"><span class="token shell-symbol important">$</span> <span class="token bash language-bash">ros2 run image_transport republish raw</span></span>
</code></pre></div><h2 id="%E3%83%8E%E3%83%BC%E3%83%89%E5%90%8D%E3%83%BB%E3%83%88%E3%83%94%E3%83%83%E3%82%AF%E5%90%8D%E3%81%AE%E7%A2%BA%E8%AA%8D-1">
<a class="header-anchor-link" href="#%E3%83%8E%E3%83%BC%E3%83%89%E5%90%8D%E3%83%BB%E3%83%88%E3%83%94%E3%83%83%E3%82%AF%E5%90%8D%E3%81%AE%E7%A2%BA%E8%AA%8D-1" aria-hidden="true"></a> ノード名・トピック名の確認</h2>
<p>どんなノード・トピックがあるか見てみます。</p>
<div class="code-block-container"><pre class="language-shell-session"><code class="language-shell-session"><span class="token command"><span class="token shell-symbol important">$</span> <span class="token bash language-bash">ros2 <span class="token function">node</span> list</span></span>
<span class="token output">/image_republisher
/v4l2_camera
</span><span class="token command"><span class="token shell-symbol important">$</span> <span class="token bash language-bash">ros2 <span class="token function">node</span> info /image_republisher </span></span>
<span class="token output">/image_republisher
  Subscribers:
    /in: sensor_msgs/msg/Image
    /parameter_events: rcl_interfaces/msg/ParameterEvent
  Publishers:
    /out: sensor_msgs/msg/Image
    /parameter_events: rcl_interfaces/msg/ParameterEvent
    /rosout: rcl_interfaces/msg/Log
  Service Servers:
    /image_republisher/describe_parameters: rcl_interfaces/srv/DescribeParameters
    /image_republisher/get_parameter_types: rcl_interfaces/srv/GetParameterTypes
    /image_republisher/get_parameters: rcl_interfaces/srv/GetParameters
    /image_republisher/list_parameters: rcl_interfaces/srv/ListParameters
    /image_republisher/set_parameters: rcl_interfaces/srv/SetParameters
    /image_republisher/set_parameters_atomically: rcl_interfaces/srv/SetParametersAtomically
  Service Clients:

  Action Servers:

  Action Clients:

</span></code></pre></div><p>/image_republisherノードは、/inをsubscribeして/outをpublishしているようです。<br>
トピック/inをv4l2_cameraに合わせてremapします。ついでに/outもremapします。</p>
<div class="code-block-container"><pre class="language-shell-session"><code class="language-shell-session"><span class="token command"><span class="token shell-symbol important">$</span> <span class="token bash language-bash">ros2 run image_transport republish raw --ros-args <span class="token parameter variable">--remap</span> in:<span class="token operator">=</span>/image_raw <span class="token parameter variable">--remap</span> out:<span class="token operator">=</span>/image_raw/compressed</span></span>
</code></pre></div><h2 id="%E7%94%BB%E5%83%8F%E3%81%8C%E9%80%81%E3%82%89%E3%82%8C%E3%81%A6%E3%81%84%E3%82%8B%E3%81%93%E3%81%A8%E3%82%92%E7%A2%BA%E8%AA%8D-1">
<a class="header-anchor-link" href="#%E7%94%BB%E5%83%8F%E3%81%8C%E9%80%81%E3%82%89%E3%82%8C%E3%81%A6%E3%81%84%E3%82%8B%E3%81%93%E3%81%A8%E3%82%92%E7%A2%BA%E8%AA%8D-1" aria-hidden="true"></a> 画像が送られていることを確認</h2>
<div class="code-block-container"><pre class="language-shell-session"><code class="language-shell-session"><span class="token command"><span class="token shell-symbol important">$</span> <span class="token bash language-bash">ros2 run rqt_image_view rqt_image_view</span></span>
</code></pre></div><p><img src="https://storage.googleapis.com/zenn-user-upload/503724df56e0-20220211.png" alt loading="lazy" class="md-img"></p>
<p>ということで、image-transportを使うことで圧縮画像をpublishすることができました。</p>
<h2 id="launch%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB%E3%81%AB%E3%81%BE%E3%81%A8%E3%82%81%E3%82%8B">
<a class="header-anchor-link" href="#launch%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB%E3%81%AB%E3%81%BE%E3%81%A8%E3%82%81%E3%82%8B" aria-hidden="true"></a> launchファイルにまとめる</h2>
<p>今回やったことを一つのlaunchファイルにまとめました。</p>
<div class="code-block-container"><pre class="language-py"><code class="language-py"><span class="token keyword">from</span> launch <span class="token keyword">import</span> LaunchDescription
<span class="token keyword">from</span> launch_ros<span class="token punctuation">.</span>actions <span class="token keyword">import</span> Node

<span class="token keyword">def</span> <span class="token function">generate_launch_description</span><span class="token punctuation">(</span><span class="token punctuation">)</span><span class="token punctuation">:</span>
    v4l2_node <span class="token operator">=</span> Node<span class="token punctuation">(</span>
        package<span class="token operator">=</span><span class="token string">'v4l2_camera'</span><span class="token punctuation">,</span>
        executable<span class="token operator">=</span><span class="token string">'v4l2_camera_node'</span><span class="token punctuation">,</span>
        output<span class="token operator">=</span><span class="token string">'screen'</span>
    <span class="token punctuation">)</span>

    image_transport <span class="token operator">=</span> Node<span class="token punctuation">(</span>
        package<span class="token operator">=</span><span class="token string">'image_transport'</span><span class="token punctuation">,</span>
        executable<span class="token operator">=</span><span class="token string">'republish'</span><span class="token punctuation">,</span>
        arguments<span class="token operator">=</span><span class="token punctuation">[</span><span class="token string">"raw"</span><span class="token punctuation">]</span><span class="token punctuation">,</span>
        remappings<span class="token operator">=</span><span class="token punctuation">[</span><span class="token punctuation">(</span><span class="token string">'in'</span><span class="token punctuation">,</span> <span class="token string">'/image_raw'</span><span class="token punctuation">)</span><span class="token punctuation">,</span>
                    <span class="token punctuation">(</span><span class="token string">'out'</span><span class="token punctuation">,</span> <span class="token string">'/image_raw/compressed'</span><span class="token punctuation">)</span>
                   <span class="token punctuation">]</span>
    <span class="token punctuation">)</span>

    <span class="token keyword">return</span> LaunchDescription<span class="token punctuation">(</span><span class="token punctuation">[</span>
        v4l2_node<span class="token punctuation">,</span>
        image_transport
    <span class="token punctuation">]</span><span class="token punctuation">)</span>
</code></pre></div><h2 id="%E6%9C%80%E5%BE%8C%E3%81%AB">
<a class="header-anchor-link" href="#%E6%9C%80%E5%BE%8C%E3%81%AB" aria-hidden="true"></a> 最後に</h2>
<p>カメラのキャリブレーションをしたらv4l2のメッセージが消えるかは今後試してみます。</p>


ROS2 galacticでMIPIカメラから画像を取る

kernelがカメラを認識しているかを確認する

Ubuntu20.04にMIPIカメラを有効にする設定を追加

画像が送られていることを確認

圧縮した画像データをpublishできる？

Discussion