言語処理100本ノック 2020 (Rev 2) 第4章: 形態素解析 34. 名詞の連接

問題

34. 名詞の連接

名詞の連接（連続して出現する名詞）を最長一致で抽出せよ．

solution34.py

def parse_mecab(block):
    res = []
    for line in block.split('\n'):
        if line == '':
            return res
        (surface, attr) = line.split('\t')
        attr = attr.split(',')
        lineDict = {
            'surface': surface,
            'base': attr[6],
            'pos': attr[0],
            'pos1': attr[1]
        }
        res.append(lineDict)

def extract_noun(block):
    res = []
    for i, word in enumerate(block):

        if (word["pos"] == "名詞") & ((i==0)|(block[i-1]["pos"] != "名詞")):
            nouns = ''
            j = 0
            while (i+j < len(block)-1) & (block[i+j]["pos"] == "名詞"):
                nouns += block[i+j]["surface"]
                j += 1
            if j >= 2:
                res.append(nouns)
    return res

filename = 'chapter04/neko.txt.mecab'
with open(filename, mode='rt', encoding='utf-8') as f:
    blocks = f.read().split('EOS\n')

filtered_blocks = list(filter(lambda x: x != '', blocks))
parse_blocks = [parse_mecab(block) for block in filtered_blocks]
parse_blocks = [extract_noun(block) for block in parse_blocks]
print(parse_blocks[8])

output

['人間中', '一番獰悪']

この問題では、各ブロックの形態素解析の結果から、['pos'] == '名詞'の隣接している名詞のsurface部分を取り出します。名詞の場合は、nounsに格納しカウンターとして用意したjを加算します。jの値が2以上の場合は、nounsの内容をresへ保存します。jの値が1以下の場合は何もしません。

https://github.com/kurokawa5/nlp100_2020/blob/main/chapter04/solution34.py

参考記事

第4章: 形態素解析