Zenn
🗃️

zipファイルの解凍が遅い場合の高速化Tips（コマンド付き）

2025/02/12に公開
Linux
Tips
並列処理
高速化
zip
tech

🗂️はじめに：Linux環境での大量ファイル解凍の課題

皆さん、日々の運用作業お疲れ様です。skmochaです。
環境マイグレーションやバックアップ復元など、業務で大容量のzipファイルを扱うシーンは多々ありますよね。
ただ、環境やサービスによってはそのzipファイルが大きすぎて、解凍するのにも一苦労...なんて場面はありませんか？さらに、I/O待ちやCPU負荷がボトルネックになって作業が遅れ、上からは「早く終わらせてくれ」なんて言われることもあるかもしれません。

この記事では、そんな皆さんの困りごとを解決するため、並列処理を用いた高速化テクニックに加え、解凍前のチェックリスト、基本のコマンド、エラーハンドリングを実践的な手順で解説します😊

✔️解凍前のチェックリスト

まずは、解凍前に以下の点をチェックしておきましょう。

  • 十分なディスクスペースの確保
    解凍時、ディスクの空き容量が不足しているとエラーの原因になります。

  • CPUとメモリのリソース確認
    特大ファイルの解凍には、余分なプロセスを停止してリソースを確保しましょう。

💡基本的な unzip コマンドの使い方

まずは基本の解凍方法です。
下記コマンドを実行すると、zipファイルの内容が指定のディレクトリ /path/to/destination に展開されます。

既存のディレクトリを指定した場合、そのディレクトリ内に解凍後のファイルが入ります。また、もし同名のファイルが既に存在した場合、「上書きする」「スキップする」などの選択肢が出てきます。選択を間違えると、とんでもない障害につながる可能性があります（経験者）。

また、エラー発生時に備え、標準出力と標準エラー出力をログに記録します。
ログの記録が不要な場合は 2>&1 | tee unzip.log を削除してください。

unzip $ZIP_FILE -d /path/to/destination 2>&1 | tee unzip.log

🔆並列処理による解凍の高速化テクニック

さて、本題に入りましょう。
大量のファイルを個別に解凍する場合、シーケンシャルに実行すると時間がかかってしまいます。
ここでは、並列処理を使った2つの方法をご紹介します。

1. バックグラウンド実行での並列処理

シェルスクリプトで各ファイルをバックグラウンド実行し、全プロセスが終了するまで wait コマンドで待機する方法です。
なお、この方法ではCPUやメモリの状況にかかわらず、ほぼ同時にすべてのファイルの解凍が行われるため、CPUやメモリに高負荷がかかる可能性があります。使う場合は事前の確認を怠らずに実行しましょう。

#!/bin/bash

export ZIP_FILE=/path/to/file.zip
mkdir -p /path/to/destination

for file in $(zipinfo -1 $ZIP_FILE); do
  # 各解凍プロセスのエラーを unzip_errors.log に記録
  unzip $ZIP_FILE "$file" -d /path/to/destination 2>&1 >> unzip_errors.log &
done

wait

2. GNU Parallel を利用した並列処理

GNU Parallel を使用すると、より簡潔に並列処理が実現できます。
zipinfo コマンドでアーカイブ内のファイルリストを取得し、その各ファイルに対して並列で unzip コマンドを実行します。

事前に parallel をインストールしておく必要があります。

apt install parallel

zipinfo -1 $ZIP_FILE | parallel "unzip -q $ZIP_FILE {} -d /path/to/destination"

デフォルトでは、CPUコア数に合わせたジョブ数で実行されますが、必要に応じて --jobs オプションで調整可能（例：--jobs 4 や --jobs 75%）です。詳細な使い方は GNU Parallel公式サイト を参照しましょう。

🧣まとめ

この記事では、大量ファイルを含むzipファイルの解凍作業における以下の点を解説しました。

  • 事前チェックの重要性
    十分なディスクスペース、CPU、メモリの確保と使用量の見積もり

  • 基本的な unzip コマンドの使い方
    環境変数の活用とエラーハンドリングのためのログ出力

  • 並列処理による高速化テクニック
    バックグラウンド実行方式と GNU Parallel を利用した方法の2パターン

これらの手法を実践することで、作業効率を大幅に向上させるとともに、エラー発生時にも迅速に対処できる環境を整えることが可能です。ぜひ現場で試し、最適な方法を見つけてください！

📖おすすめ書籍のご紹介

さらに、Linuxの基礎から応用まで体系的に学びたい方には、いちばんわかりやすいLinux教科書 がおすすめです！Linuxやshell、実践的なコマンドライン操作やシステムチューニングの知識を深めることができます。

Discussion