👩💻
言語処理100本ノック 2020 (Rev 2) 第4章: 形態素解析 36. 頻度上位10語
問題
36. 頻度上位10語
出現頻度が高い10語とその出現頻度をグラフ（例えば棒グラフなど）で表示せよ．
solution36.py
import itertools
from collections import Counter
from collections import defaultdict
import matplotlib.pyplot as plt
import japanize_matplotlib
def parse_mecab(block):
res = []
for line in block.split('\n'):
if line == '':
return res
(surface, attr) = line.split('\t')
attr = attr.split(',')
lineDict = {
'surface': surface,
'base': attr[6],
'pos': attr[0],
'pos1': attr[1]
}
res.append(lineDict)
filename = 'chapter04/neko.txt.mecab'
with open(filename, mode='rt', encoding='utf-8') as f:
blocks = f.read().split('EOS\n')
filtered_blocks = list(filter(lambda x: x != '', blocks))
parse_blocks = [parse_mecab(block) for block in filtered_blocks]
flat = list(itertools.chain.from_iterable(parse_blocks))
flat = [f["base"] for f in flat if f["pos"]!="記号"]
words = Counter(flat)
word_freq = words.most_common()
word_freq = dict(word_freq[:10])
plt.figure()
plt.bar(word_freq.keys(), word_freq.values())
plt.show()
output
この問題では、各ブロックの形態素解析の結果から出現頻度の高い単語をグラフとして出力します。日本語が文字化けする現象には[1]japanize_matplotlibで対応しています。
Discussion