libmagic-dev
poppler-utils
libpoppler-dev
tesseract-ocr
libtesseract-dev
tesseract-ocr-jpn
tesseract-ocr-jpn-vert
tesseract-ocr-script-jpan
tesseract-ocr-script-jpan-vert
libxml2-dev
libxslt1-dev
libgl1-mesa-dev

$ sudo apt update
$ sudo xargs apt install -y < packages.txt

langchain
openai
faiss-cpu

$ pip install -r requirements1.txt

$ pip install unstructured[local-inference]

from langchain.document_loaders import UnstructuredFileLoader

loader = UnstructuredFileLoader("pdf/tpoo_jap.pdf")
docs = loader.load()
print(f"number of docs: {len(docs)}")
print("--------------------------------------------------")
print(docs[0].page_content)

$ python sample.py

[nltk_data] Downloading package punkt to /home/vscode/nltk_data...
[nltk_data]   Unzipping tokenizers/punkt.zip.
[nltk_data] Downloading package averaged_perceptron_tagger to
[nltk_data]     /home/vscode/nltk_data...
[nltk_data]   Unzipping taggers/averaged_perceptron_tagger.zip.

detectron2 is not installed. Cannot use the hi_res partitioning strategy. Falling back to partitioning with the fast strategy.

print(f"number of docs: {len(docs)}")

number of docs: 1

from unstructured.partition.auto import partition

elements = partition("pdf/tpoo_jap.pdf")
print(f"number of docs: {len(elements)}")
print("\n----------\n".join([str(e) for e in elements]))

detectron2 is not installed. Cannot use the hi_res partitioning strategy. Falling back to partitioning with the fast strategy.

555

(snip)
----------
ジューン・コーエン
----------
TED トーク「この驚異的な普及は、TED
----------
自由にアイデアを広げる
----------
ニューヨーク
----------
いまやウェブに欠かせない存在となったオンライン動画配信プロジェクトのTEDトークは、当初は一部の 限定された人たちを対象としたセミナーとして始まりました。TEDトークの講演者たちはそれぞれの革新 的なテーマについて講演し、TEDトークがすべてクリエイティブ・コモンズのライセンスによって配信され てから5年間で、2億人以上の聴衆により視聴されています。
----------
「この驚異的な普及は、TEDトークがオープンで無償の配信によって公開されたことによるところが大きく 、CCライセンスは私たちだけの力では及ばないレベルまでTEDトークの普及を推し進めてくれました。」と TED Media 制作責任者のジュネ・コーエンさんは言います。
----------
そしてコーエンさんは続けます。「私たちが、自らのコンテンツを公開すると決めたのは、アイデアを広める という目的があったからです。私たちの取った決断はすべてその目的に基づいています。その意味でもク リエイティブ・コモンズは最も効率良くTEDトークの普及を促進し、かつ私たちの動画コンテンツがどのよ うに使われるべきかという議論を行う必要性から解放してくれました。」
----------
さらに、コーエンさんは続けます。「オンライン配信の決定は、とても物議を醸しました。それによって、人々 がカンファレンス費用の支払いを拒んだり、講演者に拒否されたりして、このプロジェクト自体が破綻して しまうのではないかとも懸念されました。」
----------
「初めてTEDトークのコンテンツを無料でリリースしてから一年後にカンファレンス料金を50％値上げし ましたが、それにもかかわらず参加チケットは1週間で完売し、さらに1,000名の順番待ちが発生しました 。講演者たちがトーク内容が早急に掲載されることを求めただけでなく、カンファレンス料金を払って参加 していただいた人々は会場で聞いたばかりの講演を自分の家族、友人や同僚に伝えたいと切望していま した。」と、コーエンさんは言います。
----------
TEDトークがスウェーデンの医師で統計学者のハンス・ロスリング(Hans Rosling) さんを特集した際の彼 の発展途上国についての発表は、CCライセンスがある課題を世に広める手助けになるという良い例を示 しています。「自分のTEDトークがオンラインで公開されたことは、それまで行ってきたどの活動よりも自分 のキャリアに影響を与えたとハンスは私に言いました。」とコーエンさんは言います。「そのことが彼にとっ てまったく新たな世界を開いたのです。」
----------
「私たちが意図していた以外の結果も非常にポジティブなものでした。」とコーエンさんは言います。「TED の成長だけでなく、世界中の視聴者がひとつのグローバルなチームとなり、TEDのブランドを受け入れ、 さらなる革新を促しているのです。クリエイティブ・コモンズ・ライセンスを使うことによって、私たちがアイ デアを普及させることについて真剣であることを明確に視聴者に伝えられたのです。」
----------
トークがオープンで無償の 配信によって公開されたこ とによるところが大きく、CC ライセンスは私たちだけの 力では及ばないレベルまで TEDトークの普及を推し進 めてくれました。」
----------
詳細 http://www.ted.com/talks
----------
r e i c u L n e B
----------
: o t o h P
----------
(snip)

number of docs: 1

number of docs: 1
--------------------------------------------------
The

POWER OF

The

POWER OF

ACKNOWLEDGEMENTS

(snip)

ジューン・コーエン

TED トーク「この驚異的な普及は、TED

自由にアイデアを広げる

ニューヨーク

いまやウェブに欠かせない存在となったオンライン動画配信プロジェクトのTEDトークは、当初は一部の 限定された人たちを対象としたセミナーとして始まりました。TEDトークの講演者たちはそれぞれの革新 的なテーマについて講演し、TEDトークがすべてクリエイティブ・コモンズのライセンスによって配信され てから5年間で、2億人以上の聴衆により視聴されています。

「この驚異的な普及は、TEDトークがオープンで無償の配信によって公開されたことによるところが大きく 、CCライセンスは私たちだけの力では及ばないレベルまでTEDトークの普及を推し進めてくれました。」と TED Media 制作責任者のジュネ・コーエンさんは言います。

そしてコーエンさんは続けます。「私たちが、自らのコンテンツを公開すると決めたのは、アイデアを広める という目的があったからです。私たちの取った決断はすべてその目的に基づいています。その意味でもク リエイティブ・コモンズは最も効率良くTEDトークの普及を促進し、かつ私たちの動画コンテンツがどのよ うに使われるべきかという議論を行う必要性から解放してくれました。」

さらに、コーエンさんは続けます。「オンライン配信の決定は、とても物議を醸しました。それによって、人々 がカンファレンス費用の支払いを拒んだり、講演者に拒否されたりして、このプロジェクト自体が破綻して しまうのではないかとも懸念されました。」

「初めてTEDトークのコンテンツを無料でリリースしてから一年後にカンファレンス料金を50％値上げし ましたが、それにもかかわらず参加チケットは1週間で完売し、さらに1,000名の順番待ちが発生しました 。講演者たちがトーク内容が早急に掲載されることを求めただけでなく、カンファレンス料金を払って参加 していただいた人々は会場で聞いたばかりの講演を自分の家族、友人や同僚に伝えたいと切望していま した。」と、コーエンさんは言います。

TEDトークがスウェーデンの医師で統計学者のハンス・ロスリング(Hans Rosling) さんを特集した際の彼 の発展途上国についての発表は、CCライセンスがある課題を世に広める手助けになるという良い例を示 しています。「自分のTEDトークがオンラインで公開されたことは、それまで行ってきたどの活動よりも自分 のキャリアに影響を与えたとハンスは私に言いました。」とコーエンさんは言います。「そのことが彼にとっ てまったく新たな世界を開いたのです。」

「私たちが意図していた以外の結果も非常にポジティブなものでした。」とコーエンさんは言います。「TED の成長だけでなく、世界中の視聴者がひとつのグローバルなチームとなり、TEDのブランドを受け入れ、 さらなる革新を促しているのです。クリエイティブ・コモンズ・ライセンスを使うことによって、私たちがアイ デアを普及させることについて真剣であることを明確に視聴者に伝えられたのです。」

トークがオープンで無償の 配信によって公開されたこ とによるところが大きく、CC ライセンスは私たちだけの 力では及ばないレベルまで TEDトークの普及を推し進 めてくれました。」

詳細 http://www.ted.com/talks

r e i c u L n e B

: o t o h P
(snip)

from langchain.document_loaders import UnstructuredFileLoader

loader = UnstructuredFileLoader("pdf/tpoo_jap.pdf")
docs = loader.load()
print(f"number of docs: {len(docs)}")
print("--------------------------------------------------")
print(docs[95].page_content)

number of docs: 555
--------------------------------------------------
いまやウェブに欠かせない存在となったオンライン動画配信プロジェクトのTEDトークは、当初は一部の 限定された人たちを対象としたセミナーとして始まりました。TEDトークの講演者たちはそれぞれの革新 的なテーマについて講演し、TEDトークがすべてクリエイティブ・コモンズのライセンスによって配信され てから5年間で、2億人以上の聴衆により視聴されています。

detectron2 is not installed. Cannot use the hi_res partitioning strategy. Falling back to partitioning with the fast strategy.

$ pip install detectron2@git+https://github.com/facebookresearch/detectron2.git@e2ce8dc#egg=detectron2

from unstructured.partition.auto import partition

elements = partition("pdf/tpoo_jap.pdf")
print(len(elements))
print("\n----------\n".join([str(e) for e in elements]))

283
The POWER OF
----------
(snip)
----------
ジューン・コーエン TED トーク 自由にアイデアを広げる 「この驚異的な普及は、TED ニューヨーク トークがオープンで無償の いまやウェブに欠かせない存在となったオンライン動画配信プロジェクトのTEDトークは、当初は一部の
----------
限定された人たちを対象としたセミナーとして始まりました。TEDトークの講演者たちはそれぞれの革新 てから5年間で、2億人以上の聴衆により視聴されています。
----------
、CCライセンスは私たちだけの力では及ばないレベルまでTEDトークの普及を推し進めてくれました。」と TED Media 制作責任者のジュネ・コーエンさんは言います。
----------
そしてコーエンさんは続けます。「私たちが、自らのコンテンツを公開すると決めたのは、アイデアを広める という目的があったからです。私たちの取った決断はすべてその目的に基づいています。その意味でもク リエイティブ・コモンズは最も効率良くTEDトークの普及を促進し、かつ私たちの動画コンテンツがどのよ うに使われるべきかという議論を行う必要性から解放してくれました。」
----------
さらに、コーエンさんは続けます。「オンライン配信の決定は、とても物議を醸しました。それによって、人々 がカンファレンス費用の支払いを拒んだり、講演者に拒否されたりして、このプロジェクト自体が破綻して しまうのではないかとも懸念されました。」
----------
http://www.ted.com/talks
----------
ましたが、それにもかかわらず参加チケットは1週間で完売し、さらに1,000名の順番待ちが発生しました していただいた人々は会場で聞いたばかりの講演を自分の家族、友人や同僚に伝えたいと切望していま した。」と、コーエンさんは言います。
----------
TEDトークがスウェーデンの医師で統計学者のハンス・ロスリング(Hans Rosling) さんを特集した際の彼 の発展途上国についての発表は、CCライセンスがある課題を世に広める手助けになるという良い例を示 しています。「自分のTEDトークがオンラインで公開されたことは、それまで行ってきたどの活動よりも自分 のキャリアに影響を与えたとハンスは私に言いました。」とコーエンさんは言います。「そのことが彼にとっ
----------
の成長だけでなく、世界中の視聴者がひとつのグローバルなチームとなり、TEDのブランドを受け入れ、 さらなる革新を促しているのです。クリエイティブ・コモンズ・ライセンスを使うことによって、私たちがアイ デアを普及させることについて真剣であることを明確に視聴者に伝えられたのです。」
----------
(snip)

from langchain.document_loaders import UnstructuredFileLoader

loader = UnstructuredFileLoader("pdf/tpoo_jap.pdf", mode="elements", strategy="fast")
docs = loader.load()
print(f"number of docs: {len(docs)}")
print("--------------------------------------------------")
print(docs[95].page_content)