mac os でGiNZAをdockerコンテナ上にインストールして動かしてみる

動作環境

• Apple M2 14.4.1（23E224）
• docker desktop 4.29.0
  • os ubuntu:22.04
  • Python 3.9.18

はじめに

GiNZAとはUniversal Dependenciesに基づくオープンソース日本語NLPライブラリです。
＊ 公式
公式の説明を見るとなんだとpip installするだけか、、とか思っていましたが、意外とめんどくさかったの記事にします。

TL;TR

はい。とりあえず正解みせろよ！！という人のためにさきに動作したDockerfileとdocker-compose.ymlを貼っておきます。
ベースイメージにubuntu:22.04を使っているのでクッソ重いかもですが、今後cudaを使う可能性があるのでベースイメージのubuntu　osの上にPythonをインストールしました。
gitのリポジトリ
Dockerfile

FROM ubuntu:22.04

ENV TZ=Asia/Tokyo
RUN ln -snf /usr/share/zoneinfo/$TZ /etc/localtime && echo $TZ > /etc/timezone


ENV PYTHON_VERSION 3.9.18
# ENV HOME /root
# ENV PYTHON_ROOT $HOME/local/python-$PYTHON_VERSION
# ENV PATH $PYTHON_ROOT/bin:$PATH
# ENV PYENV_ROOT $HOME/.pyenv
#gitのインストール
RUN apt-get update -y && apt-get install -y build-essential vim \
    wget curl git zip gcc make openssl \
    libssl-dev libbz2-dev libreadline-dev \
    libsqlite3-dev python3-tk tk-dev python-tk \
    libfreetype6-dev libffi-dev liblzma-dev




RUN git clone https://github.com/pyenv/pyenv.git /root/.pyenv
ENV HOME  /root
ENV PYENV_ROOT $HOME/.pyenv
ENV PATH $PYENV_ROOT/shims:$PYENV_ROOT/bin:$PATH
RUN pyenv --version
RUN pyenv install $PYTHON_VERSION
RUN pyenv global $PYTHON_VERSION
RUN eval "$(pyenv init --path)"


# Install rust (* なぜかmac osのときだけ必要らしい)
ENV PATH=$PATH:/root/.cargo/bin
RUN curl https://sh.rustup.rs -sSf > /rust.sh
RUN sh /rust.sh -y

# COPY requirements.txt /workspace/
RUN python3 -m pip install --upgrade pip

RUN pip install jupyterlab

# install dependencies for SudachiPy
RUN apt-get update && apt-get install -y build-essential

# install SudachiPy
RUN pip install SudachiPy

# install GiNZA and new transfomers model
RUN pip install -U ginza ja_ginza_electra 

docker-compose.yml

version: '3.9'
services:
  app:
    build: .
    # dockerfile: Dockerfile
    container_name: 'GiNZA'
    working_dir: '/workspace'
    volumes:
      - ./:/workspace/
    ports:
      - 8888:8888

    tty: true
    networks:
      - db_network

networks:
  db_network:
    external: true

実行
必ず、Dockerfileとdocker-compose.ymlを同じディレクトリに入れて、そのディレクトリ直下で実行してください

docker-compose up -d app
docker-compose exec app /bin/bash

つまったところ

この、GiNZAをつかうためにはSudachiPyが必要で、pip install -U ginza ja_ginza_electraだけを実行するとSudachiPyをうまくインストールできないみたいなエラーが発生します。
そこで私は、pip install -U ginza ja_ginza_electraの前にpip install SudachiPyをDockerfileに記載しました。
そうして実行すると、、

 => ERROR [app 15/16] RUN pip install SudachiPy                                                                                        2.6s
------
 > [app 15/16] RUN pip install SudachiPy:
0.527 Collecting SudachiPy
0.649   Downloading SudachiPy-0.6.8.tar.gz (161 kB)
0.695      ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 161.9/161.9 kB 3.5 MB/s eta 0:00:00
0.725   Installing build dependencies: started
2.136   Installing build dependencies: finished with status 'done'
2.137   Getting requirements to build wheel: started
2.239   Getting requirements to build wheel: finished with status 'done'
2.240   Preparing metadata (pyproject.toml): started
2.370   Preparing metadata (pyproject.toml): finished with status 'done'
2.374 Building wheels for collected packages: SudachiPy
2.375   Building wheel for SudachiPy (pyproject.toml): started
2.474   Building wheel for SudachiPy (pyproject.toml): finished with status 'error'
2.478   error: subprocess-exited-with-error
2.478
2.478   × Building wheel for SudachiPy (pyproject.toml) did not run successfully.
2.478   │ exit code: 1
2.478   ╰─> [37 lines of output]
2.478       running bdist_wheel
2.478       running build
2.478       running build_py
2.478       creating build
2.478       creating build/lib.linux-aarch64-cpython-39
2.478       creating build/lib.linux-aarch64-cpython-39/sudachipy
2.478       copying py_src/sudachipy/config.py -> build/lib.linux-aarch64-cpython-39/sudachipy
2.478       copying py_src/sudachipy/errors.py -> build/lib.linux-aarch64-cpython-39/sudachipy
2.478       copying py_src/sudachipy/__init__.py -> build/lib.linux-aarch64-cpython-39/sudachipy
2.478       copying py_src/sudachipy/command_line.py -> build/lib.linux-aarch64-cpython-39/sudachipy
2.478       creating build/lib.linux-aarch64-cpython-39/sudachipy/dictionary
2.478       copying py_src/sudachipy/dictionary/__init__.py -> build/lib.linux-aarch64-cpython-39/sudachipy/dictionary
2.478       creating build/lib.linux-aarch64-cpython-39/sudachipy/tokenizer
2.478       copying py_src/sudachipy/tokenizer/__init__.py -> build/lib.linux-aarch64-cpython-39/sudachipy/tokenizer
2.478       creating build/lib.linux-aarch64-cpython-39/sudachipy/morphemelist
2.478       copying py_src/sudachipy/morphemelist/__init__.py -> build/lib.linux-aarch64-cpython-39/sudachipy/morphemelist
2.478       creating build/lib.linux-aarch64-cpython-39/sudachipy/morpheme
2.478       copying py_src/sudachipy/morpheme/__init__.py -> build/lib.linux-aarch64-cpython-39/sudachipy/morpheme
2.478       copying py_src/sudachipy/sudachipy.pyi -> build/lib.linux-aarch64-cpython-39/sudachipy
2.478       creating build/lib.linux-aarch64-cpython-39/sudachipy/resources
2.478       copying py_src/sudachipy/resources/sudachi.json -> build/lib.linux-aarch64-cpython-39/sudachipy/resources
2.478       copying py_src/sudachipy/resources/char.def -> build/lib.linux-aarch64-cpython-39/sudachipy/resources
2.478       copying py_src/sudachipy/resources/unk.def -> build/lib.linux-aarch64-cpython-39/sudachipy/resources
2.478       copying py_src/sudachipy/resources/rewrite.def -> build/lib.linux-aarch64-cpython-39/sudachipy/resources
2.478       running build_ext
2.478       running build_rust
2.478       error: can't find Rust compiler
2.478
2.478       If you are using an outdated pip version, it is possible a prebuilt wheel is available for this package but pip is not able to install from it. Installing from the wheel would avoid the need for a Rust compiler.
2.478
2.478       To update pip, run:
2.478
2.478           pip install --upgrade pip
2.478
2.478       and then retry package installation.
2.478
2.478       If you did intend to build this package from source, try installing a Rust compiler from your system package manager and ensure it is on the PATH during installation. Alternatively, rustup (available at https://rustup.rs) is the recommended way to download and update the Rust compiler toolchain.
2.478       [end of output]
2.478
2.478   note: This error originates from a subprocess, and is likely not a problem with pip.
2.479   ERROR: Failed building wheel for SudachiPy
2.479 Failed to build SudachiPy
2.479 ERROR: Could not build wheels for SudachiPy, which is required to install pyproject.toml-based projects
------
failed to solve: process "/bin/sh -c pip install SudachiPy" did not complete successfully: exit code: 1

この中身をよく見ると、、

2.478       error: can't find Rust compiler
2.478
2.478       If you are using an outdated pip version, it is possible a prebuilt wheel is available for this package but pip is not able to install from it. Installing from the wheel would avoid the need for a Rust compiler.

うん、どうやらrustのコンパイラがないらしい。それでは入れるしかない。

RUSTのインストール

RUSTの公式をみてみるとどうやら以下のようにインストールができるらしい

# rustのインストール先を指定
ENV PATH=$PATH:/root/.cargo/bin
RUN curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

しかし、これだとexit 1となってしまう。curlにあまり詳しくないがどうやらネットワーク系のエラーらしい。
そこで、https://sh.rustup.rs内容をコンテナにもってきてからそのシェルファイルを持ってくるようにしてみる。

# rustのインストール先を指定
ENV PATH=$PATH:/root/.cargo/bin
RUN curl https://sh.rustup.rs -sSf > /rust.sh
RUN sh /rust.sh -y

成功した！

最後に

mac特有の問題なのかな、、と思ってググってみたらまったくおんなじような記事を見つけてしまった、、、、
[Mac / python / sudachipy] pip install 時にMacマシンでのみ error: can't find Rust compiler 発生
怒られたら消しますが、エラーハンドリングの様子も書いているので、多少は差別化できてるかな、、、、

今後は、cudaを利用するためのGiNZA環境の作成とかできたらなと思います。