【M5Stack】カメラに映った動画をリアルタイム表示(Unit-CamS3 x ESPNowCam)
【カメラをプログラムで動かそう】
カメラモジュールはたくさん世に溢れていますが「M5 Unit-CamS3ならPCとUSB接続してプログラミングを書き込んだら、カメラだけじゃなく、マイクとmicroSD カードとLEDも制御できて、無線で送れる」ってことで買ってみました。うまくて安い！！（¥2,398(2024/05/01現在)）
え、ESP-NOWでリアルタイム表示できるの？！
スマホ/PCで撮影画像をリアルタイム表示するサンプルは最初から入っているのですが、ESP-NOW※でESP32機器に表示できるプログラムがあるそうなので試しました。 ※Wi-Fiルーターを経由せず直接ESP32同士で通信できる。私のイメージでは小さいデータを少ない電力でやり取りする用途に使うイメージでした
【ESPNowCamを使ってみよう】
どんな感じ？
ということで、実際に映したのがこちら。調整ほぼしてないですが、結構いい感じではないでしょうか？ ※カメラ送信側：Unit-CamS3 x 表示受信側：M5Core2 の組合せ。残念ながらAtomS3(PSRAMが無い)では表示できていません泣
【作り方（Arduino IDE環境※）】
ソースと作り方は以下のページで公開されていますが、Unit-CamS3では動かしたことが無いようなので、私が試して動いた手順をシェアします。誰かプログラムをチューニングして公開してくれると信じて！！ ※PlatformIO環境でも可能です。
環境設定
1. Nanopb ライブラリをダウンロード＆解凍し、Arduinoのライブラリ※にフォルダごとコピーします
※多くの場合「C:\Users\[ユーザ]\OneDrive\ドキュメント\Arduino\libraries」です。IDEのメニューのZipから取り込むではエラーが出ました。
2. ライブラリ マネージャーでESPNowCamを見つけてインストールします
プログラミング
3. 表示受信側：M5Core2
3-1. スケッチ例から”m5core2-basic-receiver.ino”を選択
3-2. ボードは"M5Core2"を選択
3-3. 書き込んで完成。初期画面はこんな表示です。
4. カメラ送信側：Unit-CamS3
4-1. Unit-CamS3にM5Grove2USB-Cアダプタを付けて、PCと接続
4-2. Gitのカスタム例：custom-camera-sender.cppを修正
・オリジナル
・修正版
修正点は、1.PIN設定をUnit-CamS3に変更(18行目から)と、2.jpeg_quality(42行目)だけです。そのままArduinoのエディタに貼り付けます。
/**************************************************
* ESPNowCam video Transmitter
* by @hpsaturn Copyright (C) 2024
* This file is part ESP32S3 camera tests project:
* https://github.com/hpsaturn/esp32s3-cam
**************************************************/
#include <Arduino.h>
#include <esp_camera.h>
#include <ESPNowCam.h>
#include <Utils.h>
ESPNowCam radio;
camera_fb_t* fb;
bool has_psram = false;
camera_config_t camera_config = {
// for UnitCamS3
.pin_pwdn = -1,
.pin_reset = 21,
.pin_xclk = 11,
.pin_sscb_sda = 17,
.pin_sscb_scl = 41,
.pin_d7 = 13,
.pin_d6 = 4,
.pin_d5 = 10,
.pin_d4 = 5,
.pin_d3 = 7,
.pin_d2 = 16,
.pin_d1 = 15,
.pin_d0 = 6,
.pin_vsync = 42,
.pin_href = 18,
.pin_pclk = 12,
.xclk_freq_hz = 20000000,
.ledc_timer = LEDC_TIMER_0,
.ledc_channel = LEDC_CHANNEL_0,
.pixel_format = PIXFORMAT_JPEG,
.frame_size = FRAMESIZE_QVGA,
// .jpeg_quality = 12,
.jpeg_quality = 24, //これを増やすとリフレッシュレートがあがる？
.fb_count = 1,
.fb_location = CAMERA_FB_IN_DRAM,
.grab_mode = CAMERA_GRAB_WHEN_EMPTY,
};
bool CameraBegin() {
esp_err_t err = esp_camera_init(&camera_config);
if (err != ESP_OK) {
return false;
}
return true;
}
bool CameraGet() {
fb = esp_camera_fb_get();
if (!fb) {
return false;
}
return true;
}
bool CameraFree() {
if (fb) {
esp_camera_fb_return(fb);
return true;
}
return false;
}
void processFrame() {
if (CameraGet()) {
if (has_psram) {
uint8_t *out_jpg = NULL;
size_t out_jpg_len = 0;
frame2jpg(fb, 12, &out_jpg, &out_jpg_len);
radio.sendData(out_jpg, out_jpg_len);
free(out_jpg);
}
else{
radio.sendData(fb->buf, fb->len);
delay(30); // ==> weird delay for cameras without PSRAM
}
printFPS("CAM:");
CameraFree();
}
}
void setup() {
Serial.begin(115200);
delay(5000); // only for debugging
if(psramFound()){
has_psram = true;
size_t psram_size = esp_spiram_get_size() / 1048576;
Serial.printf("PSRAM size: %dMb\r\n", psram_size);
// suggested config with PSRAM
camera_config.pixel_format = PIXFORMAT_RGB565;
camera_config.fb_location = CAMERA_FB_IN_PSRAM;
camera_config.fb_count = 2;
}
else{
Serial.println("PSRAM not found! Basic framebuffer setup.");
}
radio.init();
if (!CameraBegin()) {
Serial.println("Camera Init Fail");
delay(1000);
ESP.restart();
}
delay(500);
}
void loop() {
processFrame();
}
4-3. ボードは"M5UnitCAMS3"を選択
4-4. 書き込んで完成
もちろん、モバイルバッテリーで動きます
【最後に】
私はただ既に作られたモノを組合わせただけですが、楽しいものができました！
それぞれの製作者様に感謝！
・M5社：Unit-CamS3
・ESPNowCam - Data streamer
・Unit-CamS3のPIN設定を参考にさせていただきました！
Discussion