👩💻
言語処理100本ノック 2020 (Rev 2) 第3章: 正規表現 26. 強調マークアップの除去
問題
26. 強調マークアップの除去
25の処理時に，テンプレートの値からMediaWikiの強調マークアップ（弱い強調，強調，強い強調のすべて）を除去してテキストに変換せよ（参考: [1]マークアップ早見表）．
solution26.py
import pandas as pd
import re
df_j = pd.read_json('chapter03/jawiki-country.json.gz', lines=True, compression='infer')
text_uk = df_j.query('title=="イギリス"')['text'].values[0]
template_text = re.findall(r'\{\{基礎情報 (.+?^}\})', text_uk, re.MULTILINE+re.DOTALL)[0]
template_text = re.sub("'{2,5}","", template_text)
template = dict(re.findall("\|(.+?) *= *(.+?)\n(?=\||})", template_text, re.MULTILINE+re.DOTALL))
for t in template:
print(t, template[t])
output
略名 イギリス
日本語国名 グレートブリテン及び北アイルランド連合王国
公式国名 {{lang|en|United Kingdom of Great Britain and Northern Ireland}}<ref>英語以外での正式国名:<br />
*{{lang|gd|An Rìoghachd Aonaichte na Breatainn Mhòr agus Eirinn mu Thuath}}（[[スコットランド・ゲール語]]）
*{{lang|cy|Teyrnas Gyfunol Prydain Fawr a Gogledd Iwerddon}}（[[ウェールズ語]]）
*{{lang|ga|Ríocht Aontaithe na Breataine Móire agus Tuaisceart na hÉireann}}（[[アイルランド語]]）
この問題では、正規表現を用いて強調マークアップの除去します。この正規表現は、' が 2 回から 5 回続く文字列を表しています。例えば、以下のように強調マークアップが削除されたことがわかります。
確立形態4 現在の国号「'''グレートブリテン及び北アイルランド連合王国'''」に変更
確立形態4 現在の国号「グレートブリテン及び北アイルランド連合王国」に変更
参考記事
第3章: 正規表現
re --- 正規表現操作
Python正規表現
regex101
Pythonで文字列を置換（replace, translate, re.sub, re.subn）
Discussion