rfコマンドの実例: 重複を排除する

この記事はrfコマンド Advent Calendar 2025の11日目の記事です。
昨日は実例: ソートするという記事でした。
rfコマンド Advent Calendarでは、私(buty4649)がOSSで開発しているrfコマンドの解説や推しポイント、便利な使い方を紹介していきます。

実例: 重複を排除する

ファイルの中から重複している行を削除して表示してみます。例として以下のファイルの重複を排除してみます。

item-list.txt

apple
banana
apple
orange
banana
grape
apple
orange
kiwi
banana
grape
apple

ソートするで紹介した--slurp(-s)オプションを利用します。

> rf -s uniq item-list.txt
apple
banana
orange
grape
kiwi

Array#uniqでは最初に登場した要素のみ残します。

重複数をカウントする

次に重複数をカウントしてみます。Enumerable#tallyを使うとその要素が出現した回数を値に持つHashを返却してくれます。

❯ rf -s tally item-list.txt
{"apple" => 4, "banana" => 3, "orange" => 2, "grape" => 2, "kiwi" => 1}

rfコマンドの次期バージョン(1.33.0)では、Hash#to_ssv/Hash#to_ssvが実装される予定です。それを使うとHashの出力を見やすくできます。

> ./build/bin/rf -s tally.to_v item-list.txt
apple 4
banana 3
orange 2
grape 2
kiwi 1