Open1

GNUパラレルによる並行処理

1つの巨大ファイルを一行ずつ処理

巨大なテキストファイルを1行ずつ分かち書きすることを想定

cat in.txt | parallel --pipe --L 10000 mecab -Owakati -d /opt/homebrew/lib/mecab/dic/mecab-ipadic-neologd > out.txt

parallel --pipe --L 10000を付け加えることで10000行ずつ並列処理される。
巨大だと--blocksizeオプションを指定しろと言われるかも

ログインするとコメントできます