👩‍💻

言語処理100本ノック 2020 (Rev 2) 第3章: 正規表現 26. 強調マークアップの除去

2023/01/09に公開約1,600字

問題

26. 強調マークアップの除去

25の処理時に,テンプレートの値からMediaWikiの強調マークアップ(弱い強調,強調,強い強調のすべて)を除去してテキストに変換せよ(参考: [1]マークアップ早見表).

solution26.py
import pandas as pd
import re

df_j = pd.read_json('chapter03/jawiki-country.json.gz', lines=True, compression='infer')
text_uk = df_j.query('title=="イギリス"')['text'].values[0]

template_text = re.findall(r'\{\{基礎情報 (.+?^}\})', text_uk, re.MULTILINE+re.DOTALL)[0]

template_text = re.sub("'{2,5}","", template_text)

template = dict(re.findall("\|(.+?) *= *(.+?)\n(?=\||})", template_text, re.MULTILINE+re.DOTALL))

for t in template:
    print(t, template[t])
output
略名 イギリス
日本語国名 グレートブリテン及び北アイルランド連合王国
公式国名 {{lang|en|United Kingdom of Great Britain and Northern Ireland}}<ref>英語以外での正式国名:<br />
*{{lang|gd|An Rìoghachd Aonaichte na Breatainn Mhòr agus Eirinn mu Thuath}}([[スコットランド・ゲール語]])
*{{lang|cy|Teyrnas Gyfunol Prydain Fawr a Gogledd Iwerddon}}([[ウェールズ語]])
*{{lang|ga|Ríocht Aontaithe na Breataine Móire agus Tuaisceart na hÉireann}}([[アイルランド語]])

この問題では、正規表現を用いて強調マークアップの除去します。この正規表現は、'2 回から 5 回続く文字列を表しています。例えば、以下のように強調マークアップが削除されたことがわかります。

確立形態4 現在の国号「'''グレートブリテン及び北アイルランド連合王国'''」に変更

確立形態4 現在の国号「グレートブリテン及び北アイルランド連合王国」に変更

https://github.com/kurokawa5/nlp100_2020/blob/main/chapter03/solution26.py

参考記事

第3章: 正規表現
re --- 正規表現操作
Python正規表現
regex101
Pythonで文字列を置換(replace, translate, re.sub, re.subn)

脚注
  1. マークアップ早見表 ↩︎

Discussion

ログインするとコメントできます