Open1
GNUパラレルによる並行処理
1つの巨大ファイルを一行ずつ処理
巨大なテキストファイルを1行ずつ分かち書きすることを想定
cat in.txt | parallel --pipe --L 10000 mecab -Owakati -d /opt/homebrew/lib/mecab/dic/mecab-ipadic-neologd > out.txt
parallel --pipe --L 10000
を付け加えることで10000行ずつ並列処理される。
巨大だと--blocksize
オプションを指定しろと言われるかも