🕌

CentOS7でもHTTP/3+Brotil+TLS1.3なnginxを使いたい(RPMパッケージ)

2022/03/21に公開

nginx

表題の通りです。未だにCentOS7で運用している複数のWebサーバでHTTP/3(QUIC)やBrotil圧縮を試したくなってしまいました。しかし，yumで入るnginxは相当古く，そもそもTLS1.3にすら対応していないので，自前でビルドします。その際，複数のWebサーバへの適用を考え，RPMパッケージ化を行ったので，その方法をまとめておきます。

事前準備

RPMのビルド用ユーザとフォルダの作成

RPMパッケージ関係の作業はrootで作業しない方がよいため，builderというアカウントを作ります。今回は全ての作業をbuilderアカウントでやろうと思うので，アカウントとフォルダを一緒に作成します。

$ useradd builder
$ su builder -
$ mkdir ~/rpmbuild
$ echo '%_topdir %(echo $HOME)/rpmbuild' > ~/.rpmmacros

ビルドに必要なパッケージのインストール

以下のとおりインストールします。

$ yum -y epel-release
$ yum -y --enablerepo=epel install gcc gcc-c++ pcre-devel redhat-lsb-core zlib-devel pcre-devel rpm-build perl-devel perl-ExtUtils-Embed GeoIP-devel libxslt-devel gd-devel ninja-build go libunwind-devel

注意が必要なパッケージたちの説明です。まず，http3関係のパッケージをビルドするのに必要なcmakeをインストールします。CentOS7の標準リポジトリではcmake2がインストールされてしまうためepel経由でcmake3をインストールします（CMake 3.5 or later is required.）。しかし，これではバイナリファイルが /usr/bin/cmake3 となってしまいます。のちのち面倒なので，cmakeからシンボリックリンクを張っちゃいましょう。

$ yum -y --enablerepo=epel install cmake3
$ ln -s /usr/bin/cmake3 /usr/bin/cmake
$ cmake --version
cmake3 version 3.17.5  # >3.5

同様に，gccも8.x系をインストールします（C and C++ compilers with C++11 support are required. ）。Developer Toolset 8を使うとsclコマンドでgccを置き換えることができます。このセッションだけ有効になるようにしているので，シェルを閉じたときは再度sclコマンドを実行しなくてはならない点に注意が必要です。

$ gcc --version
gcc (GCC) 4.8.5 20150623 (Red Hat 4.8.5-44)
$ yum -y install centos-release-scl
$ yum -y --enablerepo=centos-sclo-rh install devtoolset-8
$ scl enable devtoolset-8 bash
$ gcc --version
gcc (GCC) 8.3.1 20190311 (Red Hat 8.3.1-3)

ちなみに，goも相当古いバージョンが入るので不安でしたが，なんとかなりました。

ビルド

`.spec` の設定

元々入手した nginx.spec を以下のように編集します。

$ vi ~/rpmbuild/SPECS/nginx.spec

%define nginx_home %{_localstatedir}/cache/nginx
%define nginx_user nginx
%define nginx_group nginx
%define nginx_loggroup adm

BuildRequires: systemd
Requires(post): systemd
Requires(preun): systemd
Requires(postun): systemd

### distribution specific definitions は全て削除 ###

%define base_version 1.21.7         # nginx-quic-55b38514729bのnginxバージョンに合わせて修正
%define base_release 2%{?dist}.ngx  # 競合を防ぐため+1する

%define nginx_commit_hash 55b38514729b           # 追加
%define boringssl_home /home/builder/boringssl   # 追加
%define ngx_brotli_home /home/builder/ngx_brotli # 追加

%define bdir %{_builddir}/%{name}-%{nginx_commit_hash} # 

%define BASE_CONFIGURE_ARGS $(echo "--prefix=%{_sysconfdir}/nginx --sbin-path=%{_sbindir}/nginx --modules-path=%{_libdir}/nginx/modules --conf-path=%{_sysconfdir}/nginx/nginx.conf --error-log-path=%{_localstatedir}/log/nginx/error.log --http-log-path=%{_localstatedir}/log/nginx/access.log --pid-path=%{_localstatedir}/run/nginx.pid --lock-path=%{_localstatedir}/run/nginx.lock --http-client-body-temp-path=%{_localstatedir}/cache/nginx/client_temp --http-proxy-temp-path=%{_localstatedir}/cache/nginx/proxy_temp --http-fastcgi-temp-path=%{_localstatedir}/cache/nginx/fastcgi_temp --http-uwsgi-temp-path=%{_localstatedir}/cache/nginx/uwsgi_temp --http-scgi-temp-path=%{_localstatedir}/cache/nginx/scgi_temp --user=%{nginx_user} --group=%{nginx_group} --with-compat --with-file-aio --with-threads --with-http_addition_module --with-http_auth_request_module --with-http_dav_module --with-http_flv_module --with-http_gunzip_module --with-http_gzip_static_module --with-http_mp4_module --with-http_random_index_module --with-http_realip_module --with-http_secure_link_module --with-http_slice_module --with-http_ssl_module --with-http_stub_status_module --with-http_sub_module --with-http_v2_module --with-mail --with-mail_ssl_module --with-stream --with-stream_realip_module --with-stream_ssl_module --with-stream_ssl_preread_module")


Summary: High performance web server
Name: nginx-quic
Version: %{base_version}
Release: %{base_release}
URL: https://nginx.org/
Group: %{_group}

Source0: https://hg.nginx.org/nginx-quic/archive/%{nginx_commit_hash}.tar.gz
Source1: logrotate
Source2: nginx.conf
Source3: nginx.default.conf
Source4: nginx.service
Source5: nginx.upgrade.sh
Source6: nginx.suse.logrotate
Source7: nginx-debug.service
Source8: nginx.copyright
Source9: nginx.check-reload.sh

License: 2-clause BSD-like license

### BuildRoot，BuildRequiresを削除 ###

%description
nginx [engine x] is an HTTP and reverse proxy server, as well as
a mail proxy server.

%prep
### nginx-quic合わせて置き換え ###
%setup -n nginx-quic-%{nginx_commit_hash}

%build
### nginx-quic合わせて置き換え ###
./auto/configure --with-debug --with-http_v3_module %{BASE_CONFIGURE_ARGS} \
--with-cc-opt="-I%{boringssl_home}/include"  \
--with-ld-opt="-L%{boringssl_home}/build/ssl -L%{boringssl_home}/build/crypto" \
--add-module="%{ngx_brotli_home}" 

make

%install
### nginx_debug関係を削除 ###
%{__rm} -rf $RPM_BUILD_ROOT
%{__make} DESTDIR=$RPM_BUILD_ROOT INSTALLDIRS=vendor install

%{__mkdir} -p $RPM_BUILD_ROOT%{_datadir}/nginx
%{__mv} $RPM_BUILD_ROOT%{_sysconfdir}/nginx/html $RPM_BUILD_ROOT%{_datadir}/nginx/

%{__rm} -f $RPM_BUILD_ROOT%{_sysconfdir}/nginx/*.default
%{__rm} -f $RPM_BUILD_ROOT%{_sysconfdir}/nginx/fastcgi.conf

%{__mkdir} -p $RPM_BUILD_ROOT%{_localstatedir}/log/nginx
%{__mkdir} -p $RPM_BUILD_ROOT%{_localstatedir}/run/nginx
%{__mkdir} -p $RPM_BUILD_ROOT%{_localstatedir}/cache/nginx

%{__mkdir} -p $RPM_BUILD_ROOT%{_libdir}/nginx/modules
cd $RPM_BUILD_ROOT%{_sysconfdir}/nginx && \
    %{__ln_s} ../..%{_libdir}/nginx/modules modules && cd -

%{__mkdir} -p $RPM_BUILD_ROOT%{_datadir}/doc/%{name}-%{base_version}
%{__install} -m 644 -p %{SOURCE8} \
    $RPM_BUILD_ROOT%{_datadir}/doc/%{name}-%{base_version}/COPYRIGHT

%{__mkdir} -p $RPM_BUILD_ROOT%{_sysconfdir}/nginx/conf.d
%{__rm} $RPM_BUILD_ROOT%{_sysconfdir}/nginx/nginx.conf
%{__install} -m 644 -p %{SOURCE2} \
    $RPM_BUILD_ROOT%{_sysconfdir}/nginx/nginx.conf
%{__install} -m 644 -p %{SOURCE3} \
    $RPM_BUILD_ROOT%{_sysconfdir}/nginx/conf.d/default.conf

%{__install} -p -D -m 0644 %{bdir}/objs/nginx.8 \
    $RPM_BUILD_ROOT%{_mandir}/man8/nginx.8

%{__mkdir} -p $RPM_BUILD_ROOT%{_unitdir}
%{__install} -m644 %SOURCE4 \
    $RPM_BUILD_ROOT%{_unitdir}/nginx.service
%{__mkdir} -p $RPM_BUILD_ROOT%{_libexecdir}/initscripts/legacy-actions/nginx
%{__install} -m755 %SOURCE5 \
    $RPM_BUILD_ROOT%{_libexecdir}/initscripts/legacy-actions/nginx/upgrade
%{__install} -m755 %SOURCE9 \
    $RPM_BUILD_ROOT%{_libexecdir}/initscripts/legacy-actions/nginx/check-reload

# install log rotation stuff
%{__mkdir} -p $RPM_BUILD_ROOT%{_sysconfdir}/logrotate.d
%if 0%{?suse_version}
%{__install} -m 644 -p %{SOURCE6} \
    $RPM_BUILD_ROOT%{_sysconfdir}/logrotate.d/nginx
%else
%{__install} -m 644 -p %{SOURCE1} \
    $RPM_BUILD_ROOT%{_sysconfdir}/logrotate.d/nginx
%endif

%{__rm} $RPM_BUILD_ROOT%{_sysconfdir}/nginx/koi-utf
%{__rm} $RPM_BUILD_ROOT%{_sysconfdir}/nginx/koi-win
%{__rm} $RPM_BUILD_ROOT%{_sysconfdir}/nginx/win-utf

### %checkセクションはまるごと削除（nginx_debugが必要なため） ###

%clean
%{__rm} -rf $RPM_BUILD_ROOT

%files
### nginx_debug関係を削除 ###
%defattr(-,root,root)

%{_sbindir}/nginx

%dir %{_sysconfdir}/nginx
%dir %{_sysconfdir}/nginx/conf.d
%{_sysconfdir}/nginx/modules

%config(noreplace) %{_sysconfdir}/nginx/nginx.conf
%config(noreplace) %{_sysconfdir}/nginx/conf.d/default.conf
%config(noreplace) %{_sysconfdir}/nginx/mime.types
%config(noreplace) %{_sysconfdir}/nginx/fastcgi_params
%config(noreplace) %{_sysconfdir}/nginx/scgi_params
%config(noreplace) %{_sysconfdir}/nginx/uwsgi_params

%config(noreplace) %{_sysconfdir}/logrotate.d/nginx
%{_unitdir}/nginx.service
%dir %{_libexecdir}/initscripts/legacy-actions/nginx
%{_libexecdir}/initscripts/legacy-actions/nginx/*

%attr(0755,root,root) %dir %{_libdir}/nginx
%attr(0755,root,root) %dir %{_libdir}/nginx/modules
%dir %{_datadir}/nginx
%dir %{_datadir}/nginx/html
%{_datadir}/nginx/html/*

%attr(0755,root,root) %dir %{_localstatedir}/cache/nginx
%attr(0755,root,root) %dir %{_localstatedir}/log/nginx

%dir %{_datadir}/doc/%{name}-%{base_version}
%doc %{_datadir}/doc/%{name}-%{base_version}/COPYRIGHT
%{_mandir}/man8/nginx.8*

%pre
# 〜〜〜〜以下省略（これ以下は元のファイルと同じ）〜〜〜〜

変更点は以下のとおりです。

ディストリビューション特定の部分は全て削除
BuildRoot，BuildRequiresの部分はすべて削除
%define base_version 1.21.6 → %define base_version 1.21.7 （nginx-quic-55b38514729bのnginxバージョンに合わせるため）
%define base_release 1%{?dist}.ngx → %define base_release 2%{?dist}.ngx （yumで管理しやすくするため）
%prep，%buidを今回のnginx-quicおよびbrotliに合わせて修正
- ビルドオプションには既存のパラメータを全てそのまま入れておきました。
%install，%file のnginx_debug関係の部分，および %checkを全て削除（debugをmakeしていないため）

RPMの作成

いよいよRPMパッケージをビルドします。

$ rpmbuild -bb ~/rpmbuild/SPECS/nginx.spec 
$ ls ~/rpmbuild/RPMS/x86_64/
nginx-quic-1.21.7-2.el7.ngx.x86_64.rpm  nginx-quic-debuginfo-1.21.7-2.el7.ngx.x86_64.rpm

無事RPMパッケージが作成されました。

インストールと動作確認

ここから先は，実際にnginxをインストールしたいサーバで作業します。

RPMパッケージのダウンロード

先ほどビルドした .rpm を何らかの方法でダウンロードします。

インストール

rpmコマンドで直接インストールすることも可能ですが，今回は真面目にyumでインストールします。

$ yum -y install createrepo
$ mkdir -p /tmp/nginx-quic
$ chmod 757 /tmp/nginx-quic
$ cp nginx-quic-1.21.7-2.el7.ngx.x86_64.rpm /tmp/nginx-quic # 先ほどダウンロードしたファイルを作成したフォルダへコピーしておきます
$ createrepo /tmp/nginx-quic
$ vi /etc/yum.repos.d/nginx-quic.repo
[nginx-quic]
name=nginx-quic
baseurl=file:///tmp/nginx-quic
gpgcheck=0
enabled=0

$ yum clean all
$ yum -y --enablerepo=nginx-quic install nginx

起動後，正しくインストールされていることを確認しておきます。

$ systemctl start nginx
$ systemctl status nginx # エラー無く立ち上がっていることを確認
$ curl -i localhost # サーバがレスポンスを返すことを確認
HTTP/1.1 200 OK
(以下略)
$ nginx -V  # コンパイルオプションを確認し，古いnginxが入っていないことを確認
nginx version: nginx/1.21.7
built by gcc 8.3.1 20190311 (Red Hat 8.3.1-3) (GCC) 
built with OpenSSL 1.1.1 (compatible; BoringSSL) (running with BoringSSL)
TLS SNI support enabled
configure arguments: --with-debug --with-http_v3_module --prefix=/etc/nginx --sbin-path=/usr/sbin/nginx --modules-path=/usr/lib64/nginx/modules --conf-path=/etc/nginx/nginx.conf --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --pid-path=/var/run/nginx.pid --lock-path=/var/run/nginx.lock --http-client-body-temp-path=/var/cache/nginx/client_temp --http-proxy-temp-path=/var/cache/nginx/proxy_temp --http-fastcgi-temp-path=/var/cache/nginx/fastcgi_temp --http-uwsgi-temp-path=/var/cache/nginx/uwsgi_temp --http-scgi-temp-path=/var/cache/nginx/scgi_temp --user=nginx --group=nginx --with-compat --with-file-aio --with-threads --with-http_addition_module --with-http_auth_request_module --with-http_dav_module --with-http_flv_module --with-http_gunzip_module --with-http_gzip_static_module --with-http_mp4_module --with-http_random_index_module --with-http_realip_module --with-http_secure_link_module --with-http_slice_module --with-http_ssl_module --with-http_stub_status_module --with-http_sub_module --with-http_v2_module --with-mail --with-mail_ssl_module --with-stream --with-stream_realip_module --with-stream_ssl_module --with-stream_ssl_preread_module --with-cc-opt=-I/home/builder/boringssl/include --with-ld-opt='-L/home/builder/boringssl/build/ssl -L/home/builder/boringssl/build/crypto' --add-module=/home/builder/ngx_brotli

証明書の取得

letsencryptを使いました。おそらくこの記事を読んでいる方（http3とかbrotliとかを試そうとしている方）には特に説明不要な項かと思いますので，細かい説明は省略します。

# HTTP-01認証用設定
$ vi /etc/nginx/conf.d/default.conf
### server_nameを正しく設定 ###
server_name  localhost;
↓
server_name  localhost, nginx-quic-test.example.com;

$ systemctl reload nginx

# 証明書取得
$ yum --enablerepo=epel -y install certbot
$ certbot certonly --webroot -w /usr/share/nginx/html -d nginx-quic-test.example.com --email hogehoge@example.com

nginxの設定

https://quic.nginx.org/readme.html および https://github.com/google/ngx_brotli を参考に以下のような設定を投入しました。

$ vi /etc/nginx/conf.d/nginx-quic-test.conf

server {
   listen 443 ssl http2;
   listen [::]:443 ssl http2;
   listen 443 http3 reuseport;      # HTTP/3(QUIC)の設定（IPv4）
   listen [::]:443 http3 reuseport; # HTTP/3(QUIC)の設定（IPv6）
      
   server_name nginx-quic-test.example.com;

   root /usr/share/nginx/html;

   brotli on;              # brotliの設定
   brotli_comp_level 6;    # brotliの設定（オプション）
   brotli_types *;         # brotliの設定（オプション）

   ssl_protocols TLSv1.3;          # TLS1.3
   ssl_prefer_server_ciphers off;  # TLS1.3
   ssl_early_data on;              # TLS1.3の0-RTTを設定（HTTP/3が使われやすくなる）
   ssl_certificate /etc/letsencrypt/live/nginx-quic-test.example.com/fullchain.pem;   # Letsencryptの場合
   ssl_certificate_key /etc/letsencrypt/live/nginx-quic-test.example.com/privkey.pem;     # Letsencryptの場合
   
   location / {
      try_files $uri $uri/ =404;
      add_header Alt-Svc 'h3=":443"; h3-29=":443"; ma=86400';  # HTTP/2，HTTP/1.1でアクセスした際に次回以降のアクセスをHTTP/3で行わせるための設定（今後はh3-29は不要かもしれません）
   }
}

$ nginx -t
nginx: the configuration file /etc/nginx/nginx.conf syntax is ok
nginx: configuration file /etc/nginx/nginx.conf test is successful

$ systemctl restart nginx

ファイアウォールの設定

私はこれを忘れていてかなりの時間を無駄にしました。HTTP/3（QUIC）では，TCPの代わりにUDPが使われます。そのため，ファイアウォールなどでHTTP（TCP80番）とHTTPS（TCP443番）のみを開けていると，HTTP/3の通信が行われず，HTTP/2にフォールバックします。必ずUDP443番を開けましょう。

AWSの場合のセキュリティグループ設定例を貼っておきます。

動作確認

HTTP/3対応のcurlコマンドもありますが，最新のGoogle ChromeであればHTTP/3で通信できます。そこで，Google Chrome（99.0.4844.74）の開発者ツールを使って確認しました。

HTTP/3となっていることは，開発者ツールのNetworkタブで「Protocol」の列を表示するようことで，簡単に確認できます。h3となっていればHTTP/3です。

注意点として，ブラウザはまずTLS上でHTTPのバージョンのネゴシエーションを行いますが，これはHTTP/1.1またはHTTP/2のどちらかを使うかのネゴシエーションしか行われず，初回のアクセス時はHTTP/2になる場合があるようです。その場合，ブラウザが初回アクセスのレスポンスヘッダに「alt-svc: h3=":443";」が含まれていることを確認できたら，次回以降HTTP/3でアクセスを試みます。nginx.confに0-RTTの設定をいれてあげているので比較的HTTP/3にアップグレードしやすくなっているはずですが，1度目がHTTP/2になってしまった場合はもう一度アクセスしてみてください。それでも上手くいかない場合，ブラウザキャッシュが原因かもしれませんので，Networkタブの「Disable Cache」にチェックを入れておきましょう。

ちなみにキャプチャでも確認しました。WireSharkではQUICと表示されるようです。

次に，圧縮を確認しましょう。同じくNetworkタブでName欄をクリックし，ヘッダを確認します。すると，Google Chromeが accept-encoding: gzip, deflate, br をリクエストし，nginxが content-encoding: brでレスポンスしていることが分かります。brはbrotliのことなので，無事brotliで圧縮されているようです。

圧縮度の検証

Brotli圧縮のすごさを知りたかったので，nginxのデフォルトページで評価してみました。評価では，リクエストヘッダを編集できるChrome拡張を使い， Accept-Encodingヘッダを変更してそのときのコンテンツサイズを比較しました。

デフォルト(圧縮無し)
→771B
gzip
→551B
Brotli（brotli_comp_level 6）
→458B

gzipと比べると20%程度容量が削減できていました。そもそもが容量が小さいファイルなのでこの値が参考になるかはよく分かりません。。

参考にさせて頂いたところ

公式サイト

NGINX quic preview https://quic.nginx.org/readme.html
Building BoringSSL https://boringssl.googlesource.com/boringssl/+/HEAD/BUILDING.md
ngx_brotli https://github.com/google/ngx_brotli

ブログなど

CentOS7のNginxをTLS1.3に対応させてyumでインストールする https://onoredekaiketsu.com/centos7-nginx-tls-1-3-yum-install/
nginx-quicをビルドしてみた https://hawksnowlog.blogspot.com/2021/05/getting-started-nginx-quic.html
QUIC対応版nginxが出ていたのでビルドとRPMパッケージを作成した。 https://zenn.dev/ryoh/scraps/2d895000af1766
Amazon Linux2へのBrotli対応nginxのインストール https://www.bit-hive.com/articles/20211011
RPMパッケージを作成するためのメモ書き http://www.02.246.ne.jp/~torutk/linux/centos5/rpmpackagebuild.html
NginxでTLS1.3の0-RTTハンドシェイク (ssl_early_data)を試す https://asnokaze.hatenablog.com/entry/2018/08/08/012239

CentOS7でもHTTP/3+Brotil+TLS1.3なnginxを使いたい(RPMパッケージ)

事前準備

RPMのビルド用ユーザとフォルダの作成

ビルドに必要なパッケージのインストール

関連モジュールの準備

Boringssl（ビルド）

nginxのSRPM入手

nginx-quicの入手とお試しビルド

Brotliモジュールの入手

ビルド

`.spec` の設定

RPMの作成

インストールと動作確認

RPMパッケージのダウンロード

インストール

証明書の取得

nginxの設定

ファイアウォールの設定

動作確認

圧縮度の検証

参考にさせて頂いたところ

公式サイト

ブログなど

Discussion

事前準備

RPMのビルド用ユーザとフォルダの作成

ビルドに必要なパッケージのインストール

関連モジュールの準備

Boringssl（ビルド）

nginxのSRPM入手

nginx-quicの入手とお試しビルド

Brotliモジュールの入手

ビルド

.spec の設定

RPMの作成

インストールと動作確認

RPMパッケージのダウンロード

インストール

証明書の取得

nginxの設定

ファイアウォールの設定

動作確認

圧縮度の検証

参考にさせて頂いたところ

公式サイト

ブログなど

Discussion

`.spec` の設定