🐌

Linuxコマンドでバイナリファイルを修正する

2020/11/12に公開

Linux

shell

awk

tech

はじめに

たまに、バイナリファイルをシェルスクリプトでいじりたいときがある。
他にもっといい方法があるかもしれないが、参考として記載する。

修正の流れ(イメージ)

以下のような流れで修正をしている。

hexdumpでdump
dump結果を修正
xxdコマンドで戻す

例題

以下のようなバイナリファイルを、

$ hexdump -C sample.bin 
00000000  00 01 02 03 04 05 06 07  08 09 0a 0b 0c 0d 0e 0f  |................|
00000010  10 11 12 13 14 15 16 17  18 19 1a 1b 1c 1d 1e 1f  |................|
00000020  20 21 22 23 24 25 26 27  28 29 2a 2b 2c 2d 2e 2f  | !"#$%&'()*+,-./|
00000030  30 31 32 33 34 35 36 37  38 39 3a 3b 3c 3d 3e 3f  |0123456789:;<=>?|
00000040  40 41 42 43 44 45 46 47  48 49 4a 4b 4c 4d 4e 4f  |@ABCDEFGHIJKLMNO|
00000050  50 51 52 53 54 55 56 57  58 59 5a 5b 5c 5d 5e 5f  |PQRSTUVWXYZ[\]^_|
00000060  60 61 62 63 64 65 66 67  68 69 6a 6b 6c 6d 6e 6f  |`abcdefghijklmno|
00000070  70 71 72 73 74 75 76 77  78 79 7a 7b 7c 7d 7e 7f  |pqrstuvwxyz{|}~.|
00000080  80 81 82 83 84 85 86 87  88 89 8a 8b 8c 8d 8e 8f  |................|
00000090  90 91 92 93 94 95 96 97  98 99 9a 9b 9c 9d 9e 9f  |................|
000000a0  a0 a1 a2 a3 a4 a5 a6 a7  a8 a9 aa ab ac ad ae af  |................|
000000b0  b0 b1 b2 b3 b4 b5 b6 b7  b8 b9 ba bb bc bd be bf  |................|
000000c0  c0 c1 c2 c3 c4 c5 c6 c7  c8 c9 ca cb cc cd ce cf  |................|
000000d0  d0 d1 d2 d3 d4 d5 d6 d7  d8 d9 da db dc dd de df  |................|
000000e0  e0 e1 e2 e3 e4 e5 e6 e7  e8 e9 ea eb ec ed ee ef  |................|
000000f0  f0 f1 f2 f3 f4 f5 f6 f7  f8 f9 fa fb fc fd fe ff  |................|
00000100

以下のように変更したい。
(00 01 02 ... fe ff となっているのを ff fe ... 02 01 00と並びを逆にしたい)

$ hexdump -C sample-r.bin 
00000000  ff fe fd fc fb fa f9 f8  f7 f6 f5 f4 f3 f2 f1 f0  |................|
00000010  ef ee ed ec eb ea e9 e8  e7 e6 e5 e4 e3 e2 e1 e0  |................|
00000020  df de dd dc db da d9 d8  d7 d6 d5 d4 d3 d2 d1 d0  |................|
00000030  cf ce cd cc cb ca c9 c8  c7 c6 c5 c4 c3 c2 c1 c0  |................|
00000040  bf be bd bc bb ba b9 b8  b7 b6 b5 b4 b3 b2 b1 b0  |................|
00000050  af ae ad ac ab aa a9 a8  a7 a6 a5 a4 a3 a2 a1 a0  |................|
00000060  9f 9e 9d 9c 9b 9a 99 98  97 96 95 94 93 92 91 90  |................|
00000070  8f 8e 8d 8c 8b 8a 89 88  87 86 85 84 83 82 81 80  |................|
00000080  7f 7e 7d 7c 7b 7a 79 78  77 76 75 74 73 72 71 70  |.~}|{zyxwvutsrqp|
00000090  6f 6e 6d 6c 6b 6a 69 68  67 66 65 64 63 62 61 60  |onmlkjihgfedcba`|
000000a0  5f 5e 5d 5c 5b 5a 59 58  57 56 55 54 53 52 51 50  |_^]\[ZYXWVUTSRQP|
000000b0  4f 4e 4d 4c 4b 4a 49 48  47 46 45 44 43 42 41 40  |ONMLKJIHGFEDCBA@|
000000c0  3f 3e 3d 3c 3b 3a 39 38  37 36 35 34 33 32 31 30  |?>=<;:9876543210|
000000d0  2f 2e 2d 2c 2b 2a 29 28  27 26 25 24 23 22 21 20  |/.-,+*)('&%$#"! |
000000e0  1f 1e 1d 1c 1b 1a 19 18  17 16 15 14 13 12 11 10  |................|
000000f0  0f 0e 0d 0c 0b 0a 09 08  07 06 05 04 03 02 01 00  |................|
00000100

やりかた(一例)

$ hexdump -v -e '/1 "%02X "' sample.bin | awk '{for(i=1; i<=NF; i++)print $i}' | tac | awk '{printf "%s",$0}' | xxd -p -r > sample-r.bin

解説

hexdump

hexdump -v -e '/1 "%02X "' exemple.bin でダンプ結果が一行で出力される。

$ hexdump -v -e '/1 "%02X "' exemple.bin
00 01 02 03 04 05 06 07 08 09 0A 0B 0C 0D 0E 0F 10 11 12 13 14 15 16 17 18 19 1A 1B 1C 1D 1E 1F 20 21 22 23 24 25 26 27 28 29 2A 2B 2C 2D 2E 2F 30 31 32 33 34 35 36 37 38 39 3A 3B 3C 3D 3E 3F 40 41 42 43 44 45 46 47 48 49 4A 4B 4C 4D 4E 4F 50 51 52 53 54 55 56 57 58 59 5A 5B 5C 5D 5E 5F 60 61 62 63 64 65 66 67 68 69 6A 6B 6C 6D 6E 6F 70 71 72 73 74 75 76 77 78 79 7A 7B 7C 7D 7E 7F 80 81 82 83 84 85 86 87 88 89 8A 8B 8C 8D 8E 8F 90 91 92 93 94 95 96 97 98 99 9A 9B 9C 9D 9E 9F A0 A1 A2 A3 A4 A5 A6 A7 A8 A9 AA AB AC AD AE AF B0 B1 B2 B3 B4 B5 B6 B7 B8 B9 BA BB BC BD BE BF C0 C1 C2 C3 C4 C5 C6 C7 C8 C9 CA CB CC CD CE CF D0 D1 D2 D3 D4 D5 D6 D7 D8 D9 DA DB DC DD DE DF E0 E1 E2 E3 E4 E5 E6 E7 E8 E9 EA EB EC ED EE EF F0 F1 F2 F3 F4 F5 F6 F7 F8 F9 FA FB FC FD FE FF

オプションの意味はman hexdumpで確認できる。
manualの中に例の記載があり、それをそのまま利用した。

$ man hexdump
...
     Some examples for the -e option:

           # hex bytes
           % echo hello | hexdump -v -e '/1 "%02X "' ; echo
           68 65 6C 6C 6F 0A

awk

hexdump -v -e '/1 "%02X "' exemple.bin　の出力結果を awkに渡し、
スペースを改行に変換。

$ hexdump -v -e '/1 "%02X "' exemple.bin | awk '{for(i=1; i<=NF; i++)print $i}'
00
01
02
03
04
05
<省略>
fe
ff

tac

tacコマンドで出力結果を反転

$ hexdump -v -e '/1 "%02X "' exemple.bin | awk '{for(i=1; i<=NF; i++)print $i}' | tac
ff
fe
<省略>
05
04
03
02
01
00

再びawk

出力結果の改行を削除。

$ hexdump -v -e '/1 "%02X "' exemple.bin | awk '{for(i=1; i<=NF; i++)print $i}' | tac | awk '{printf "%s",$0}'
FFFEFDFCFBFAF9F8F7F6F5F4F3F2F1F0EFEEEDECEBEAE9E8E7E6E5E4E3E2E1E0DFDEDDDCDBDAD9D8D7D6D5D4D3D2D1D0CFCECDCCCBCAC9C8C7C6C5C4C3C2C1C0BFBEBDBCBBBAB9B8B7B6B5B4B3B2B1B0AFAEADACABAAA9A8A7A6A5A4A3A2A1A09F9E9D9C9B9A999897969594939291908F8E8D8C8B8A898887868584838281807F7E7D7C7B7A797877767574737271706F6E6D6C6B6A696867666564636261605F5E5D5C5B5A595857565554535251504F4E4D4C4B4A494847464544434241403F3E3D3C3B3A393837363534333231302F2E2D2C2B2A292827262524232221201F1E1D1C1B1A191817161514131211100F0E0D0C0B0A09080706050403020100

xxd

出力されたテキストをバイナリに変換。

$ hexdump -v -e '/1 "%02X "' sample.bin | awk '{for(i=1; i<=NF; i++)print $i}' | tac | awk '{printf "%s",$0}' | xxd -p -r > sample-r.bin