M1 Mac に colima をインストールして IntelliJ で実行できるようにするまで

要約すると以下の通り（コンテナ Runtime は Docker を採用）

1. colima, docker client を インストール

> brew install colima docker

2. docker-compose を インストール

> brew install docker-compose

> mkdir -p ~/.docker/cli-plugins
> ln -sfn /opt/homebrew/opt/docker-compose/bin/docker-compose ~/.docker/cli-plugins/docker-compose

3. docker-credential-helper をインストール

> brew install docker-credential-helper

> vim ~/.docker/config.json

{
  "auths": {},
  "credsStore": "osxkeychain",
  "currentContext": "colima"
}

intelliJ IDEA の 設定

1. Settings > Build, Execution, Deployment > Docker

• Serviceを追加して接続先に Colimaを選択する

2. Settings > Build, Execution, Deployment > Docker > tools

• docker と docker compose の両方の実行パスに /opt/homebrew/bin/docker を指定する

以上

MacOS を 15(Sequoia) に変えたところ qemu のインストールが別途必要になった模様で、brew で install を求められた。（以前は依存関係として自動でインストールされていた？）
恐らくこのIssueが関係しているようで、colima 0.8.0 から依存関係に追加されている。ただ brew で自動でインストールされなかったので、個別に qemu をインストールして対応した
https://github.com/abiosoft/colima/issues/1188

colima の githubを見る感じ、最新の0.8.0 なら qemu を別途インストールしなくても良いのかなと思ったんだけどダメっぽいので、とりあえず qemu もインストールしたままにしておく

homebrewでcolimaを1回削除して、最新の0.8 1に入れ直したところqemuの別途インストールは不要だった

IntelliJ IDEA の Dockerプラグインがサポートしているのは dockerd だけだった

自分が勘違いしていて、Colima が使う Container runtime はDocker Engine (docker daemon) 互換をcolimaが持っていて、デフォルトではそれを使う。
homebrew で インストールしている docker は Docker client (Docker CLI) なだけで、docer engineは含まれていなかった。
実際に colimaを止めて docker version を実行すると clientの情報は表示されるけど、serverの方は表示されなくなり、起動してるか聞かれる。

シンボリックリンクでも動くけど、今見たら以下のように記載されていたので、 ~/.docker/config.json に homebrew でインストールした cli-plugins を extra_dirs として指定してあげるだけでも良さそう

Compose is a Docker plugin. For Docker to find the plugin, add "cliPluginsExtraDirs" to ~/.docker/config.json:
    "cliPluginsExtraDirs": [
     "$HOMEBREW_PREFIX/lib/docker/cli-plugins"
    ]

Stackoverflowの回答では、最後に Docker Hub へのログインを行なっていたが 今回は特に不要だと思う。
（"思う" なのは、一旦ログインしてしまったので確証がまだ無いため）

また、docker-credential-helper をインストールせずに、 config.json の creadsStore プロパティ自体を削除するだけでもアクセスできそう

~/.colima/<profile-name>/colima.yaml で、プロファイルごとの設定を定義することができる。
初期は default プロファイルだけが作成されているので、このファイルで設定を変更したり、新たなプロファイルを用意してColimaを再起動する。再起動するときに -p or --profile <profile-name> を付ければ指定したプロファイルで起動してくれそう

今回は default プロファイルの Memoryを変更する事にした

# Number of CPUs to be allocated to the virtual machine.
# Default: 2
cpu: 2

# Size of the disk in GiB to be allocated to the virtual machine.
# NOTE: changing this has no effect after the virtual machine has been created.
# Default: 60
disk: 60

# Size of the memory in GiB to be allocated to the virtual machine.
# Default: 2
memory: 4

# Architecture of the virtual machine (x86_64, aarch64, host).
# Default: host
arch: aarch64

# Container runtime to be used (docker, containerd).
# Default: docker
runtime: docker

# Set custom hostname for the virtual machine.
# Default: colima
#          colima-profile_name for other profiles
hostname: colima

......

VM作り直したから コンテナもイメージもボリュームもみんな消えたので再作成が必要
開発環境なので致命的ではないが必要なら vm 削除前に少なくともボリュームはバックアップしておかないと

今日は colima delete を行っても次のようなエラーが出て先に進めなかった

failed to stop usernet "user-v2": Get "http://lima/services/dhcp/leases": dial unix /Users/***/.colima/_lima/_networks/user-v2/user-v2_ep.sock: connect: connection refused FATA[0003] error during teardown of vm: exit status 1

Issueを見たところ次のコメントの通り rm -rf ~/.colima/_lima/_networks/user-v2 を行ってから colima start で起動することができた！ ひょっとしたら colima delete は不要だったかもしれないので次回同様の問題が起こった時に確認する

https://github.com/abiosoft/colima/issues/938#issuecomment-1895461764

rm -rf ~/.colima/_lima/_networks/user-v2 を行ってから colima start で大丈夫だった

Testcontainerの 公式ドキュメント だと、export TESTCONTAINERS_HOST_OVERRIDE=$(colima ls -j | jq -r '.address') も必要になっているが 無くてもいけそうなので設定しないことにする。

ちなみに 必要だと colima start --network-address と アドレスを有効にする必要があるのと、IntelliJの環境変数設定で $(colima ls -j | jq -r '.address') で アドレスが取れずにエラーとなるため、事前にアドレスを抽出する手間があるのも設定しない理由（方法があれば知りたい）

ntelliJ IDEA から テストを実行する場合は、実行Configurationのこれらの環境変数を追加すること

Configuration Template で、JUnit の 実行に対して追加すると テスト設定ごとに追加する必要がないので便利

colimaの versionが上がって、環境変数が少し変わったが、以下の設定で gradle でテスト実行はできた

export TESTCONTAINERS_DOCKER_SOCKET_OVERRIDE=/var/run/docker.sock
export DOCKER_HOST="unix://${HOME}/.colima/default/docker.sock"

ただ IntelliJ の TestConfigurationで 設定しても /var/run/docker.sock が見つからないとでる。公式のFAQのようにシンボリックリンクを付けても同じな状態でテストが通らない状況。 CLIからは実行できるので IntelliJ から gradle test を実行した時に docker.sock を参照できていない？

 [Test worker] ERROR org.testcontainers.dockerclient.DockerClientProviderStrategy -- Could not find a valid Docker environment. Please check configuration. Attempted configurations were:
	UnixSocketClientProviderStrategy: failed with exception InvalidConfigurationException (Could not find unix domain socket). Root cause NoSuchFileException (/var/run/docker.sock)
	DockerDesktopClientProviderStrategy: failed with exception NullPointerException (Cannot invoke "java.nio.file.Path.toString()" because the return value of "org.testcontainers.dockerclient.DockerDesktopClientProviderStrategy.getSocketPath()" is null)As no valid configuration was found, execution cannot continue.

参考
https://github.com/abiosoft/colima/blob/main/docs/FAQ.md#cannot-connect-to-the-docker-daemon-at-unixvarrundockersock-is-the-docker-daemon-running

https://java.testcontainers.org/supported_docker_environment/

イメージPullでまた認証エラーが発生するようになった

以下で実行ができそう

1. docker registry の証明書を 取得する 時に .pem ではなくて .crt にする

export CERTS=~/.ca-certificates
export URL=registry-1.docker.io:443
mkdir -p $CERTS
openssl s_client -showcerts -connect $URL </dev/null 2>/dev/null|openssl x509 -outform PEM >$CERTS/docker-com.crt
openssl s_client -showcerts -verify 5 -connect $URL </dev/null 2>/dev/null | sed -ne '/-BEGIN/,/-END/p' >$CERTS/docker-com-chain.crt
# zscalerのルート証明書も Colimaにセットする場合はこのコマンドで crtファイルを取得して一緒にコピーする
security find-certificate -p -c "ZScaler Root CA" > .ca-certificates/zscaler-root-cert.crt

.crt に変換しなくても、 x509 -outform PEM と形式を指定して出力すれば、 .pem でも大丈夫な気はしてる

2. 起動中のcolimaに sshで入り、1で取得した 証明書をコピーして反映する

# hostで取得した証明書をコピーする
colima ssh -- sudo cp ${CERTS}/* /usr/local/share/ca-certificates/
# proxyのアップデート
colima ssh -- sudo update-ca-certificates
# docker再起動
colima ssh -- sudo systemctl daemon-reload
colima ssh -- sudo systemctl restart docker

.colima/default/colima.yml に追記していたprovision時のscriptは crtファイルがコピーできなかったので設定自体、Yamlから削除した

3. colima を再起動する
   colima restart

https://docs.docker.com/guides/zscaler/

最初はうまくいかなかったのですが、

rm -rf ~/.colima/_lima/_networks/user-v2 でネットワーク設定を初期化したり、colima ssh して /usr/local/share/ca-certificates の中身を削除したりして、綺麗な状態にしてから再度試したらうまくいった

zscalerが proxyとなっていると colimaからdocker hub などにアクセスする際のTLSハンドシェイクで、zscalerのサーバー証明書を提示するが colima内部のTrust Store にはこの証明書に対するZscalerのルート証明書がインポートされていないので信頼できない証明書としてエラーになっている模様。

このためホストのTrust Store (Mac の keychain)にインストールされている Zscaler の ルート証明書を Colimaの Trust StoreにインストールすることでTLS ハンドシェイクを通すようにしている。

この場合、以前のこの設定との関連性がよくわかっていない。この操作でもMac の KeychainをTrust Storeとして参照できるようにしている気もするが。こっちは credential だから認証情報であって証明書とは関係ないってことかな
https://zenn.dev/link/comments/5bb4c54edcfd71