Unstructuredを試してみる

$ docker run -it --rm -p 8888:8888 downloads.unstructured.io/unstructured-io/unstructured:latest bash

$ pip install jupyterlab ipywidgets
$ jupyter-lab --ip="0.0.0.0" --NotebookApp.token=""

from unstructured.partition.pdf import partition_pdf
elements = partition_pdf(filename="example-docs/pdf/layout-parser-paper-fast.pdf")

from unstructured.partition.text import partition_text
elements = partition_text(filename="example-docs/fake-text.txt")

from unstructured.partition.auto import partition

elements = partition(
    filename="example-docs/pdf/layout-parser-paper-fast.pdf"
)
print("\n----------\n".join([str(el) for el in elements][:10]))

from unstructured.partition.auto import partition

with open("example-docs/pdf/layout-parser-paper-fast.pdf", "rb") as f:
  elements = partition(file=f, include_page_breaks=True)
    
print("\n----------\n".join([str(el) for el in elements][:10]))

from unstructured.partition.auto import partition

elements = partition(
    filename="example-docs/pdf/layout-parser-paper-fast.pdf",
    content_type="application/pdf",
    include_page_breaks=True,
)
print("\n----------\n".join([str(el) for el in elements][10:20]))

from unstructured.partition.html import partition_html

url = "https://zenn.dev/kun432/articles/20230921-vector-databases-jp-part-1"
elements = partition_html(url=url)
print("\n----------\n".join([str(el) for el in elements[:15]]))

kun432
----------
(日本語訳) Vector databases (Part 1): What makes each one different?
----------
2023/09/21に公開
----------
2023/09/28
----------
1件
----------
VectorDB
----------
vectorsearch
----------
vectordatabase
----------
vectorstore
----------
tech
----------
日本語訳： ベクトルデータベース(パート1): それぞれの違いは？
----------
訳者前書き
----------
ベクトルデータベースについていろいろと調査・検証していたところ、以下の記事を見つけて、内容が非常によくまとまっており、多くの人にとっても有用な記事ではないか感じました。もはや翻訳などはDeepLやChatGPTで簡単にできる時代になりつつありますが、まだまだ検索エンジンで検索されることも多いと思いますし、少しでも参照しやすくなればと考えて、作者であるPrashanth Rao氏に許可を頂いた上で日本語に翻訳したものとなっています。
----------
全4回の記事の第1回目となります。
----------
https://thedataquarry.com/posts/vector-db-1/

from unstructured.partition.auto import partition

elements = partition(
    url="https://zenn.dev/kun432/articles/20230921-vector-databases-jp-part-1"
)
print("\n----------\n".join([str(el) for el in elements[:15]]))

import re
from unstructured.partition.auto import partition

elements = partition(
    # wikipediaの「オグリキャップ」
    url="https://ja.wikipedia.org/wiki/%E3%82%AA%E3%82%B0%E3%83%AA%E3%82%AD%E3%83%A3%E3%83%83%E3%83%97"
)

# 本文の最初の1行
target_element =  elements[8]
print(f"クリーニング前: {target_element}")

# 脚注記号を削除する関数
remove_citations = lambda text: re.sub("\[\d{1,3}\]", "", text)
# 関数を適用
target_element.apply(remove_citations)

print(f"クリーニング後: {target_element}")

クリーニング前: オグリキャップ（欧字名:Oguri Cap、1985年3月27日 - 2010年7月3日）は、日本の競走馬、種牡馬[1]。
クリーニング後: オグリキャップ（欧字名:Oguri Cap、1985年3月27日 - 2010年7月3日）は、日本の競走馬、種牡馬。

from unstructured.partition.email import partition_email
from unstructured.cleaners.extract import (
    extract_datetimetz,
    extract_email_address,
    extract_ip_address,
    extract_ip_address_name,
    extract_mapi_id,
    extract_ordered_bullets,
)

with open("example-docs/eml/fake-email-header.eml", "r") as f:
    text = f.read()

print(extract_datetimetz(text))
print(extract_email_address(text))
print(extract_ip_address(text))
print(extract_ip_address_name(text))

2023-02-20 10:03:18+12:00
['hello@unstructured.io', 'cadc-_xalb2fevq7mnsox+njb_7hajhbka_zet-rtgpgenj0uvw@mail.gmail.com', 'mrobinson@unstructured.io', 'mrobinson@unstructured.io', 'fake-email@unstructured.io', 'test@unstructured.io']
['00.0.0.00', 'ba23::58b5:2236:45g2:88h2']
['ABCDEFG-000.ABC.guide', 'ABCDEFG-000.ABC.guide', 'mail.gmail.com']

from unstructured.partition.email import partition_email

elements = partition_email(
    filename="example-docs/eml/fake-email-header.eml",
    include_headers=True,
)
print("\n----------\n".join([str(el) for el in elements]))

ABCDEFG-000.ABC.guide: 00.0.0.00
----------
ABCDEFG-000.ABC.guide: ba23::58b5:2236:45g2:88h2
----------
received_datetimetz: 2023-02-20 10:03:18+12:00
----------
MIME-Version: 1.0
----------
Date: Fri, 16 Dec 2022 17:04:16 -0500
----------
Hello: hello@unstructured.io
----------
Message-ID: CADc-_xaLB2FeVQ7mNsoX+NJb_7hAJhBKa_zet-rtgPGenj0uVw@mail.gmail.com
----------
Test Email
----------
Matthew Robinson: mrobinson@unstructured.io
----------
Matthew Robinson: mrobinson@unstructured.io
----------
Fake Email: fake-email@unstructured.io
----------
test: test@unstructured.io
----------
Content-Type: multipart/alternative; boundary="00000000000095c9b205eff92630"
----------
This is a test email to use for unit tests.
----------
Important points:
----------
Roses are red
----------
Violets are blue

from unstructured.partition.auto import partition

chunks = partition(
    # wikipediaの「オグリキャップ」
    url="https://ja.wikipedia.org/wiki/%E3%82%AA%E3%82%B0%E3%83%AA%E3%82%AD%E3%83%A3%E3%83%83%E3%83%97",
    chunking_strategy="basic"
)
print("\n----------\n".join([str(chunk) for chunk in chunks[:6]]))

オグリキャップ

English

한국어

中文

リンクを編集

出典: フリー百科事典『ウィキペディア（Wikipedia）』
----------
この記事は「 旧馬齢表記 」が採用されており、国際的な表記法や2001年以降の日本国内の表記とは異なっています。 詳しくは 馬齢#日本における馬齢表記 を参照してください。
----------
オグリキャップ 1994年8月、 優駿スタリオンステーション にて 現役期間 1987年 - 1990年 欧字表記 Oguri Cap [ 1 ] 品種 サラブレッド [ 1 ] 性別 牡 [ 1 ] 毛色 芦毛 [ 1 ] 生誕 1985年 3月27日 [ 1 ] 死没 2010年 7月3日 （25歳没） 父 ダンシングキャップ [ 1 ] 母 ホワイトナルビー [ 1 ]
----------
母の父 シルバーシャーク [ 1 ] 生国 日本 （ 北海道 三石町 ） [ 1 ] 生産者 稲葉不奈男 [ 1 ] 馬主 小栗孝一 → 佐橋五十雄 →近藤俊典 [ 1 ] 調教師 鷲見昌勇 （ 笠松 ） → 瀬戸口勉 （ 栗東 ） [ 1 ] 厩務員 三浦裕一（笠松） →川瀬友光（笠松） → 池江敏郎 （栗東） 競走成績 タイトル JRA賞年度代表馬 （1990年） 最優秀4歳牡馬 （1988年） JRA賞特別賞 （1989年） 最優秀5歳以上牡馬 （1990年） NARグランプリ特別表彰馬 （1990年） 顕彰馬 （1991年選出）
----------
生涯成績 32戦22勝 [ 1 ] 地方 ：12戦10勝 中央 ：20戦12勝 獲得賞金 9億1251万2000円 [ 1 ] 地方：2281万円 中央：8億8970万2000円 勝ち鞍 GI 有馬記念 1988年 ・ 1990年 GI マイルCS 1989年 GI 安田記念 1990年 GII NZT4歳S 1988年 GII 高松宮杯 1988年 GII 毎日王冠 1988年 ・ 1989年 GIII ペガサスS 1988年 GIII 毎日杯 1988年 GIII 京都4歳特別 1988年 GIII オールカマー 1989年 テンプレートを表示
----------
オグリキャップ（欧字名:Oguri Cap、1985年3月27日 - 2010年7月3日）は、日本の競走馬、種牡馬[1]。

1987年5月に岐阜県の地方競馬・笠松競馬場でデビュー。8連勝、重賞5勝を含む12戦10勝を記録した後、1988年1月に中央競馬へ移籍し、重賞12勝（うちGI4勝）を記録した。1988年度のJRA賞最優秀4歳牡馬[† 1]、1989年度のJRA賞特別賞[† 1]、1990年度のJRA賞最優秀5歳以上牡馬および年度代表馬[† 1]。1991年、JRA顕彰馬に選出。愛称は「オグリ」「芦毛の怪物」「スーパーホース」など多数。

中央競馬時代はスーパークリーク、イナリワンの二頭とともに「平成三強」と総称され、自身と騎手である武豊の活躍を中心として起こった第二次競馬ブーム期において[2]、第一次競馬ブームの立役者とされるハイセイコーに比肩するとも評される高い人気を得た。 日本競馬史上屈指のアイドルホースである。 [3]。

from unstructured.partition.auto import partition
from unstructured.chunking.basic import chunk_elements

elements = partition(
    # wikipediaの「オグリキャップ」
    url="https://ja.wikipedia.org/wiki/%E3%82%AA%E3%82%B0%E3%83%AA%E3%82%AD%E3%83%A3%E3%83%83%E3%83%97",
)
chunks = chunk_elements(elements)
print("\n----------\n".join([str(chunk) for chunk in chunks[:10]]))

from unstructured.partition.auto import partition
from unstructured.chunking.title import chunk_by_title

elements = partition(
    # wikipediaの「オグリキャップ」
    url="https://ja.wikipedia.org/wiki/%E3%82%AA%E3%82%B0%E3%83%AA%E3%82%AD%E3%83%A3%E3%83%83%E3%83%97",
)
chunks = chunk_by_title(elements)
print("\n----------\n".join([str(chunk) for chunk in chunks[:10]]))

from unstructured.partition.auto import partition

elements = partition(
    # wikipediaの「オグリキャップ」
    url="https://ja.wikipedia.org/wiki/%E3%82%AA%E3%82%B0%E3%83%AA%E3%82%AD%E3%83%A3%E3%83%83%E3%83%97",
)

for element in elements[8:11]:
    print(element.to_dict())
    print("----------")

{'type': 'Title', 'element_id': '75aa57cbf05659941d806823cc827646', 'text': 'オグリキャップ（欧字名:Oguri Cap、1985年3月27日 - 2010年7月3日）は、日本の競走馬、種牡馬[1]。', 'metadata': {'category_depth': 0, 'emphasized_text_contents': ['オグリキャップ'], 'emphasized_text_tags': ['b'], 'link_texts': ['1985年', '3月27日', '2010年', '7月3日', '日本', '競走馬', '種牡馬', '[1]'], 'link_urls': ['/wiki/1985%E5%B9%B4', '/wiki/3%E6%9C%8827%E6%97%A5', '/wiki/2010%E5%B9%B4', '/wiki/7%E6%9C%883%E6%97%A5', '/wiki/%E6%97%A5%E6%9C%AC', '/wiki/%E7%AB%B6%E8%B5%B0%E9%A6%AC', '/wiki/%E7%A8%AE%E7%89%A1%E9%A6%AC', '#cite_note-jbis-1'], 'languages': ['jpn'], 'filetype': 'text/html', 'url': 'https://ja.wikipedia.org/wiki/%E3%82%AA%E3%82%B0%E3%83%AA%E3%82%AD%E3%83%A3%E3%83%83%E3%83%97'}}
----------
{'type': 'UncategorizedText', 'element_id': 'bab228e080c8e5bbf3edb50b301005c3', 'text': '1987年5月に岐阜県の地方競馬・笠松競馬場でデビュー。8連勝、重賞5勝を含む12戦10勝を記録した後、1988年1月に中央競馬へ移籍し、重賞12勝（うちGI4勝）を記録した。1988年度のJRA賞最優秀4歳牡馬[† 1]、1989年度のJRA賞特別賞[† 1]、1990年度のJRA賞最優秀5歳以上牡馬および年度代表馬[† 1]。1991年、JRA顕彰馬に選出。愛称は「オグリ」「芦毛の怪物」「スーパーホース」など多数。', 'metadata': {'link_texts': ['1987年', '岐阜県', '地方競馬', '笠松競馬場', '重賞', '1988年', '中央競馬', 'GI', '1988年', 'JRA賞最優秀4歳牡馬', '[† 1]', '1989年', 'JRA賞特別賞', '[† 1]', '1990年', 'JRA賞最優秀5歳以上牡馬', '[† 1]', '1991年', 'JRA顕彰馬', '芦毛'], 'link_urls': ['/wiki/1987%E5%B9%B4', '/wiki/%E5%B2%90%E9%98%9C%E7%9C%8C', '/wiki/%E5%9C%B0%E6%96%B9%E7%AB%B6%E9%A6%AC', '/wiki/%E7%AC%A0%E6%9D%BE%E7%AB%B6%E9%A6%AC%E5%A0%B4', '/wiki/%E9%87%8D%E8%B3%9E', '/wiki/1988%E5%B9%B4', '/wiki/%E4%B8%AD%E5%A4%AE%E7%AB%B6%E9%A6%AC', '/wiki/%E7%AB%B6%E9%A6%AC%E3%81%AE%E7%AB%B6%E8%B5%B0%E6%A0%BC%E4%BB%98%E3%81%91', '/wiki/1988%E5%B9%B4', '/wiki/JRA%E8%B3%9E%E6%9C%80%E5%84%AA%E7%A7%803%E6%AD%B3%E7%89%A1%E9%A6%AC', '#cite_note-JRA-2', '/wiki/1989%E5%B9%B4', '/wiki/JRA%E8%B3%9E%E7%89%B9%E5%88%A5%E8%B3%9E', '#cite_note-JRA-2', '/wiki/1990%E5%B9%B4', '/wiki/JRA%E8%B3%9E%E6%9C%80%E5%84%AA%E7%A7%804%E6%AD%B3%E4%BB%A5%E4%B8%8A%E7%89%A1%E9%A6%AC', '#cite_note-JRA-2', '/wiki/1991%E5%B9%B4', '/wiki/JRA%E9%A1%95%E5%BD%B0%E9%A6%AC', '/wiki/%E8%8A%A6%E6%AF%9B'], 'languages': ['jpn'], 'filetype': 'text/html', 'parent_id': '75aa57cbf05659941d806823cc827646', 'url': 'https://ja.wikipedia.org/wiki/%E3%82%AA%E3%82%B0%E3%83%AA%E3%82%AD%E3%83%A3%E3%83%83%E3%83%97'}}
----------
{'type': 'Title', 'element_id': '7ed361e1bcbbefd5c5847f658738b46b', 'text': '中央競馬時代はスーパークリーク、イナリワンの二頭とともに「平成三強」と総称され、自身と騎手である武豊の活躍を中心として起こった第二次競馬ブーム期において[2]、第一次競馬ブームの立役者とされるハイセイコーに比肩するとも評される高い人気を得た。 日本競馬史上屈指のアイドルホースである。 [3]。', 'metadata': {'category_depth': 0, 'link_texts': ['スーパークリーク', 'イナリワン', '平成三強', '騎手', '武豊', '第二次競馬ブーム', '[2]', '第一次競馬ブーム', 'ハイセイコー', '[3]'], 'link_urls': ['/wiki/%E3%82%B9%E3%83%BC%E3%83%91%E3%83%BC%E3%82%AF%E3%83%AA%E3%83%BC%E3%82%AF', '/wiki/%E3%82%A4%E3%83%8A%E3%83%AA%E3%83%AF%E3%83%B3', '/wiki/%E5%B9%B3%E6%88%90%E4%B8%89%E5%BC%B7', '/wiki/%E9%A8%8E%E6%89%8B', '/wiki/%E6%AD%A6%E8%B1%8A', '/wiki/%E7%AB%B6%E9%A6%AC%E3%83%95%E3%82%A1%E3%83%B3#第二次競馬ブーム', '#cite_note-東邦出版（編）2005-131-132-3', '/wiki/%E7%AB%B6%E9%A6%AC%E3%83%95%E3%82%A1%E3%83%B3#第一次競馬ブーム', '/wiki/%E3%83%8F%E3%82%A4%E3%82%BB%E3%82%A4%E3%82%B3%E3%83%BC', '#cite_note-関口2002-15-4'], 'languages': ['jpn'], 'filetype': 'text/html', 'url': 'https://ja.wikipedia.org/wiki/%E3%82%AA%E3%82%B0%E3%83%AA%E3%82%AD%E3%83%A3%E3%83%83%E3%83%97'}}
----------

from unstructured.partition.auto import partition
from unstructured.chunking.basic import chunk_elements

elements = partition(
    # wikipediaの「オグリキャップ」
    url="https://ja.wikipedia.org/wiki/%E3%82%AA%E3%82%B0%E3%83%AA%E3%82%AD%E3%83%A3%E3%83%83%E3%83%97",
)

chunks = chunk_elements(elements[8:11])
for chunk in chunks:
    print(chunk.to_dict())
    print("----------")

{'type': 'CompositeElement', 'element_id': 'e996a598-32ef-4823-992b-2660ef91dabc', 'text': 'オグリキャップ（欧字名:Oguri Cap、1985年3月27日 - 2010年7月3日）は、日本の競走馬、種牡馬[1]。\n\n1987年5月に岐阜県の地方競馬・笠松競馬場でデビュー。8連勝、重賞5勝を含む12戦10勝を記録した後、1988年1月に中央競馬へ移籍し、重賞12勝（うちGI4勝）を記録した。1988年度のJRA賞最優秀4歳牡馬[† 1]、1989年度のJRA賞特別賞[† 1]、1990年度のJRA賞最優秀5歳以上牡馬および年度代表馬[† 1]。1991年、JRA顕彰馬に選出。愛称は「オグリ」「芦毛の怪物」「スーパーホース」など多数。\n\n中央競馬時代はスーパークリーク、イナリワンの二頭とともに「平成三強」と総称され、自身と騎手である武豊の活躍を中心として起こった第二次競馬ブーム期において[2]、第一次競馬ブームの立役者とされるハイセイコーに比肩するとも評される高い人気を得た。 日本競馬史上屈指のアイドルホースである。 [3]。', 'metadata': {'emphasized_text_contents': ['オグリキャップ'], 'emphasized_text_tags': ['b'], 'filetype': 'text/html', 'languages': ['jpn'], 'link_texts': ['1985年', '3月27日', '2010年', '7月3日', '日本', '競走馬', '種牡馬', '[1]', '1987年', '岐阜県', '地方競馬', '笠松競馬場', '重賞', '1988年', '中央競馬', 'GI', '1988年', 'JRA賞最優秀4歳牡馬', '[† 1]', '1989年', 'JRA賞特別賞', '[† 1]', '1990年', 'JRA賞最優秀5歳以上牡馬', '[† 1]', '1991年', 'JRA顕彰馬', '芦毛', 'スーパークリーク', 'イナリワン', '平成三強', '騎手', '武豊', '第二次競馬ブーム', '[2]', '第一次競馬ブーム', 'ハイセイコー', '[3]'], 'link_urls': ['/wiki/1985%E5%B9%B4', '/wiki/3%E6%9C%8827%E6%97%A5', '/wiki/2010%E5%B9%B4', '/wiki/7%E6%9C%883%E6%97%A5', '/wiki/%E6%97%A5%E6%9C%AC', '/wiki/%E7%AB%B6%E8%B5%B0%E9%A6%AC', '/wiki/%E7%A8%AE%E7%89%A1%E9%A6%AC', '#cite_note-jbis-1', '/wiki/1987%E5%B9%B4', '/wiki/%E5%B2%90%E9%98%9C%E7%9C%8C', '/wiki/%E5%9C%B0%E6%96%B9%E7%AB%B6%E9%A6%AC', '/wiki/%E7%AC%A0%E6%9D%BE%E7%AB%B6%E9%A6%AC%E5%A0%B4', '/wiki/%E9%87%8D%E8%B3%9E', '/wiki/1988%E5%B9%B4', '/wiki/%E4%B8%AD%E5%A4%AE%E7%AB%B6%E9%A6%AC', '/wiki/%E7%AB%B6%E9%A6%AC%E3%81%AE%E7%AB%B6%E8%B5%B0%E6%A0%BC%E4%BB%98%E3%81%91', '/wiki/1988%E5%B9%B4', '/wiki/JRA%E8%B3%9E%E6%9C%80%E5%84%AA%E7%A7%803%E6%AD%B3%E7%89%A1%E9%A6%AC', '#cite_note-JRA-2', '/wiki/1989%E5%B9%B4', '/wiki/JRA%E8%B3%9E%E7%89%B9%E5%88%A5%E8%B3%9E', '#cite_note-JRA-2', '/wiki/1990%E5%B9%B4', '/wiki/JRA%E8%B3%9E%E6%9C%80%E5%84%AA%E7%A7%804%E6%AD%B3%E4%BB%A5%E4%B8%8A%E7%89%A1%E9%A6%AC', '#cite_note-JRA-2', '/wiki/1991%E5%B9%B4', '/wiki/JRA%E9%A1%95%E5%BD%B0%E9%A6%AC', '/wiki/%E8%8A%A6%E6%AF%9B', '/wiki/%E3%82%B9%E3%83%BC%E3%83%91%E3%83%BC%E3%82%AF%E3%83%AA%E3%83%BC%E3%82%AF', '/wiki/%E3%82%A4%E3%83%8A%E3%83%AA%E3%83%AF%E3%83%B3', '/wiki/%E5%B9%B3%E6%88%90%E4%B8%89%E5%BC%B7', '/wiki/%E9%A8%8E%E6%89%8B', '/wiki/%E6%AD%A6%E8%B1%8A', '/wiki/%E7%AB%B6%E9%A6%AC%E3%83%95%E3%82%A1%E3%83%B3#第二次競馬ブーム', '#cite_note-東邦出版（編）2005-131-132-3', '/wiki/%E7%AB%B6%E9%A6%AC%E3%83%95%E3%82%A1%E3%83%B3#第一次競馬ブーム', '/wiki/%E3%83%8F%E3%82%A4%E3%82%BB%E3%82%A4%E3%82%B3%E3%83%BC', '#cite_note-関口2002-15-4'], 'url': 'https://ja.wikipedia.org/wiki/%E3%82%AA%E3%82%B0%E3%83%AA%E3%82%AD%E3%83%A3%E3%83%83%E3%83%97', 'orig_elements': 'eJzFWNtuGzcQ/RVDwb5FMS/LW94k2wnSlwJF+hQbBrnLtZX4ItgS2jTov3dmKIq70tqWG6AFkjXFGQ5nyJlzZvfLj0m8ibfxbnW5aCfvjyZGea9MEzqmtHKu5q1l2grZNFYYXevJ26PJbVz51q886P+YNH4Vr+4fvl+2cbm6hikGGvF2ee0fF3/F9nIV/1xdNvd3K9jjEcRfJudrybzHZ2D4jDT2LY0lPht6tmZyMWJr5a+SnUDibnETV9+XEZ1H+fH16vYGvbzxd1drfxWT8tflHanfLO6+kZ00zZ1V52sVTY1LYFttGAQKf1VUOCUYZ0XBJAVZ5GmE06JJv43v9PnatgbWOee3syLCU2heZr/wi+LT+uEmuXT8x+Lb4hgdq85UNXfVnLZO07I605U7qSw4SUNTzVQRo7cjq8x2lRxZtJ3aaM1O+jIQzKu5rs5sNQfDYN5VM72vZKvZGQ4siPlA6U2zWMXLu/tVnH4Ni8cpp6AhXryy69Vq+fj++Pirf4e2lrFd+Hf3D1fZsqysqGazzQC3h4EsM7PTPCM3A5sHzkz+fpuSAnc6PO3O113HLNxpwExQQeGzZu37X6/WD4ujE79EPcZL8uwkztH0qOTNMGfItsP1uktW+hlE83E/h7LmbhZBBpFI4DnnKvi8WN1EDH23toMPQtjILGtsVCF0MrZBsSDBV6YauVfbP11bppQOjBqH4WgO4RjDNoWhjGR4BMHlsHtFEwTKjIl9GayxcmPT8QYu0DZtxN+wo+3vWEcBUuVE3LX98dO+/i+/zZIpujC8PS4gR4xrWI3JYOReAZ+vBRPsCOo4WXOj1owwKBBCFVd3lzp2kCMqO1JHzJk6Mv+SU47vWIasxbTthgBlhddovA3PYZIZQReaEpUjaHAWIQRwAOHmZKgEU1jAADIabRRoGUcUQKKkfVrNz/a10SIoDD1xFbhoTwmtAAHOigzvetT5uppbghEwV29A7Fm/drwArOHDZVuk1OTgCe0xx6NJyo6/6BZc1DaGDN6E7LYm7IO9IE5GcA6+g95L0AsWp2Kwr3txXzI5Jz3wEgmid6zP2XZjLHRgTHUvJjo33Jcuyc5eH6XjT3lCZlwi2dOniI02hVl06UPl5lQbS//wuobpP+e6Ar0qsQ8RS9jH4Ew44yiM0i48j8NkwRB90rMlEkVwgrWJuARs75iQiIFtm7msQLcqAieQakXAsWUcfmkB6MaGGtZzNCmlwBlF+6oOMc02W2reIDsfHsA4JaDUWIRYCrep22J46Cu6lFxJPYJktSbb/OOnuidyL/mK51K8xKdPhuLreKjA/TZy96zNXTbaN5C56ECnXuAkOiPqtSydF2r2rcMqmLFW29GARGGw5N8oh+XrdXSNinc+LQbXOA90sazXdDXjzSBrs7SwYa4QzUQKyw01wYIrud7y3jiUceit0rQX2lGOe6w6w/a7uN/vNm9W+ObzGet6pKMzsZWaRx6aEGLXqkbZ2nRaWSNtqHU47G3t59q8547Ad+Vw80xqN2BE99n4ohFJu5ObxjBipmiBxQ85hcfVSbNp+zzDKxF12LyDBY39clP7bePY4CqEA+ji+W6tt7p4FBl1TeJiuBRz/LClFEZXQgqhN5ZJm7aQT7/uZcx3Gzyfn2Rg58MZgTw04IWBqM9daarOVDHbXbY1NJc7zZwj8tVI+sjkiXxTuwAtnBk2XPDmZ4nPQcPOh6+VwFiz1BBxcODFPkoSHye/t3HLN//mPns9ATEXghHDmk7YYERtM4SbNqaxE/AaNOWSw38xlT/v7uE51Lsz+PdheHkCu6DdGbm9/L1wnfLIUjJKCEhMuZrW/9cr91N0q3UtMvRnVH4NiGRifg5GMnKntHFWJPS15WlF5o2E5eOQ00Nuyhas9cwnivqc3HUABHH0wUYfsn6BqtIp1bSvDX3g2vJMKwNasNtuZ3OGXfo8kTxPfYROHwlST5GkMvcXrysZrBHeldNI/tSpu9MAjjnA16V2Dsr4JhBdw5FaxlQvkN4B2nAIlGYngZxrtOYpbZQrFsrlWp/s7+7ifGtzgHUMSMINN/nAVecGbdrR8BPNoAOWncgtj2oQUzR0ODlscF30cpRcjGG8N9jNDNoYKGO/M9h837n4BxVpAbo='}}
----------

for chunk in chunks:
    for el in chunk.metadata.orig_elements:
        print(el.to_dict())
        print("----------")

{'type': 'Title', 'element_id': '75aa57cbf05659941d806823cc827646', 'text': 'オグリキャップ（欧字名:Oguri Cap、1985年3月27日 - 2010年7月3日）は、日本の競走馬、種牡馬[1]。', 'metadata': {'category_depth': 0, 'emphasized_text_contents': ['オグリキャップ'], 'emphasized_text_tags': ['b'], 'link_texts': ['1985年', '3月27日', '2010年', '7月3日', '日本', '競走馬', '種牡馬', '[1]'], 'link_urls': ['/wiki/1985%E5%B9%B4', '/wiki/3%E6%9C%8827%E6%97%A5', '/wiki/2010%E5%B9%B4', '/wiki/7%E6%9C%883%E6%97%A5', '/wiki/%E6%97%A5%E6%9C%AC', '/wiki/%E7%AB%B6%E8%B5%B0%E9%A6%AC', '/wiki/%E7%A8%AE%E7%89%A1%E9%A6%AC', '#cite_note-jbis-1'], 'languages': ['jpn'], 'filetype': 'text/html', 'url': 'https://ja.wikipedia.org/wiki/%E3%82%AA%E3%82%B0%E3%83%AA%E3%82%AD%E3%83%A3%E3%83%83%E3%83%97'}}
----------
{'type': 'UncategorizedText', 'element_id': 'bab228e080c8e5bbf3edb50b301005c3', 'text': '1987年5月に岐阜県の地方競馬・笠松競馬場でデビュー。8連勝、重賞5勝を含む12戦10勝を記録した後、1988年1月に中央競馬へ移籍し、重賞12勝（うちGI4勝）を記録した。1988年度のJRA賞最優秀4歳牡馬[† 1]、1989年度のJRA賞特別賞[† 1]、1990年度のJRA賞最優秀5歳以上牡馬および年度代表馬[† 1]。1991年、JRA顕彰馬に選出。愛称は「オグリ」「芦毛の怪物」「スーパーホース」など多数。', 'metadata': {'link_texts': ['1987年', '岐阜県', '地方競馬', '笠松競馬場', '重賞', '1988年', '中央競馬', 'GI', '1988年', 'JRA賞最優秀4歳牡馬', '[† 1]', '1989年', 'JRA賞特別賞', '[† 1]', '1990年', 'JRA賞最優秀5歳以上牡馬', '[† 1]', '1991年', 'JRA顕彰馬', '芦毛'], 'link_urls': ['/wiki/1987%E5%B9%B4', '/wiki/%E5%B2%90%E9%98%9C%E7%9C%8C', '/wiki/%E5%9C%B0%E6%96%B9%E7%AB%B6%E9%A6%AC', '/wiki/%E7%AC%A0%E6%9D%BE%E7%AB%B6%E9%A6%AC%E5%A0%B4', '/wiki/%E9%87%8D%E8%B3%9E', '/wiki/1988%E5%B9%B4', '/wiki/%E4%B8%AD%E5%A4%AE%E7%AB%B6%E9%A6%AC', '/wiki/%E7%AB%B6%E9%A6%AC%E3%81%AE%E7%AB%B6%E8%B5%B0%E6%A0%BC%E4%BB%98%E3%81%91', '/wiki/1988%E5%B9%B4', '/wiki/JRA%E8%B3%9E%E6%9C%80%E5%84%AA%E7%A7%803%E6%AD%B3%E7%89%A1%E9%A6%AC', '#cite_note-JRA-2', '/wiki/1989%E5%B9%B4', '/wiki/JRA%E8%B3%9E%E7%89%B9%E5%88%A5%E8%B3%9E', '#cite_note-JRA-2', '/wiki/1990%E5%B9%B4', '/wiki/JRA%E8%B3%9E%E6%9C%80%E5%84%AA%E7%A7%804%E6%AD%B3%E4%BB%A5%E4%B8%8A%E7%89%A1%E9%A6%AC', '#cite_note-JRA-2', '/wiki/1991%E5%B9%B4', '/wiki/JRA%E9%A1%95%E5%BD%B0%E9%A6%AC', '/wiki/%E8%8A%A6%E6%AF%9B'], 'languages': ['jpn'], 'filetype': 'text/html', 'parent_id': '75aa57cbf05659941d806823cc827646', 'url': 'https://ja.wikipedia.org/wiki/%E3%82%AA%E3%82%B0%E3%83%AA%E3%82%AD%E3%83%A3%E3%83%83%E3%83%97'}}
----------
{'type': 'Title', 'element_id': '7ed361e1bcbbefd5c5847f658738b46b', 'text': '中央競馬時代はスーパークリーク、イナリワンの二頭とともに「平成三強」と総称され、自身と騎手である武豊の活躍を中心として起こった第二次競馬ブーム期において[2]、第一次競馬ブームの立役者とされるハイセイコーに比肩するとも評される高い人気を得た。 日本競馬史上屈指のアイドルホースである。 [3]。', 'metadata': {'category_depth': 0, 'link_texts': ['スーパークリーク', 'イナリワン', '平成三強', '騎手', '武豊', '第二次競馬ブーム', '[2]', '第一次競馬ブーム', 'ハイセイコー', '[3]'], 'link_urls': ['/wiki/%E3%82%B9%E3%83%BC%E3%83%91%E3%83%BC%E3%82%AF%E3%83%AA%E3%83%BC%E3%82%AF', '/wiki/%E3%82%A4%E3%83%8A%E3%83%AA%E3%83%AF%E3%83%B3', '/wiki/%E5%B9%B3%E6%88%90%E4%B8%89%E5%BC%B7', '/wiki/%E9%A8%8E%E6%89%8B', '/wiki/%E6%AD%A6%E8%B1%8A', '/wiki/%E7%AB%B6%E9%A6%AC%E3%83%95%E3%82%A1%E3%83%B3#第二次競馬ブーム', '#cite_note-東邦出版（編）2005-131-132-3', '/wiki/%E7%AB%B6%E9%A6%AC%E3%83%95%E3%82%A1%E3%83%B3#第一次競馬ブーム', '/wiki/%E3%83%8F%E3%82%A4%E3%82%BB%E3%82%A4%E3%82%B3%E3%83%BC', '#cite_note-関口2002-15-4'], 'languages': ['jpn'], 'filetype': 'text/html', 'url': 'https://ja.wikipedia.org/wiki/%E3%82%AA%E3%82%B0%E3%83%AA%E3%82%AD%E3%83%A3%E3%83%83%E3%83%97'}}
----------