spaCyに入門する

!pip freeze | grep -i spacy

en-core-web-sm @ https://github.com/explosion/spacy-models/releases/download/en_core_web_sm-3.7.1/en_core_web_sm-3.7.1-py3-none-any.whl#sha256=86cc141f63942d4b2c5fcee06630fd6f904788d2f0ab005cce45aadb8fb73889
spacy==3.7.4
spacy-legacy==3.0.12
spacy-loggers==1.0.5

import spacy

nlp = spacy.load("en_core_web_sm")
doc = nlp("Apple is looking at buying U.K. startup for $1 billion")
for token in doc:
    print(token.text, token.pos_, token.dep_)

Apple PROPN nsubj
is AUX aux
looking VERB ROOT
at ADP prep
buying VERB pcomp
U.K. PROPN dobj
startup NOUN dep
for ADP prep
$ SYM quantmod
1 NUM compound
billion NUM pobj

!python -m spacy download ja_core_news_sm

import spacy

nlp = spacy.load("ja_core_news_sm")
doc = nlp("アップル、英国の新興企業を10億ドルで買収か。")
for token in doc:
    print(token.text, token.pos_, token.dep_)

アップル PROPN nmod
、 PUNCT punct
英国 PROPN nmod
の ADP case
新興 NOUN compound
企業 NOUN obj
を ADP case
10億 NUM nummod
ドル NOUN obl
で ADP case
買収 NOUN ROOT
か PART mark
。 PUNCT punct

import spacy

nlp = spacy.load("en_core_web_sm")
doc = nlp("Apple is looking at buying U.K. startup for $1 billion")
for i, token in enumerate(doc):
    print(i, ":", token.text)

0 : Apple
1 : is
2 : looking
3 : at
4 : buying
5 : U.K.
6 : startup
7 : for
8 : $
9 : 1
10 : billion

import spacy

nlp = spacy.load("ja_core_news_sm")
doc = nlp("アップル、英国の新興企業を10億ドルで買収か。")
for i, token in enumerate(doc):
    print(i, ":", token.text)

0 : アップル
1 : 、
2 : 英国
3 : の
4 : 新興
5 : 企業
6 : を
7 : 10億
8 : ドル
9 : で
10 : 買収
11 : か
12 : 。

import spacy

nlp = spacy.load("en_core_web_sm")
doc = nlp("Apple is looking at buying U.K. startup for $1 billion")

for token in doc:
    print(token.text, token.lemma_, token.pos_, token.tag_, token.dep_,
            token.shape_, token.is_alpha, token.is_stop)

Apple Apple PROPN NNP nsubj Xxxxx True False
is be AUX VBZ aux xx True True
looking look VERB VBG ROOT xxxx True False
at at ADP IN prep xx True True
buying buy VERB VBG pcomp xxxx True False
U.K. U.K. PROPN NNP dobj X.X. False False
startup startup NOUN NN dep xxxx True False
for for ADP IN prep xxx True True
$ $ SYM $ quantmod $ False False
1 1 NUM CD compound d False False
billion billion NUM CD pobj xxxx True False

import spacy
from spacy import displacy

nlp = spacy.load("en_core_web_sm")
doc = nlp("Apple is looking at buying U.K. startup for $1 billion")
displacy.serve(doc, style="dep")

import spacy

nlp = spacy.load("ja_core_news_sm")
doc = nlp("アップル、英国の新興企業を10億ドルで買収か。")

for token in doc:
    print([str(t) for t in [token.text, token.lemma_, token.pos_, token.tag_, token.dep_, token.shape_, token.is_alpha, token.is_stop]])

['アップル', 'アップル', 'PROPN', '名詞-普通名詞-一般', 'nmod', 'xxxx', 'True', 'False']
['、', '、', 'PUNCT', '補助記号-読点', 'punct', '、', 'False', 'False']
['英国', '英国', 'PROPN', '名詞-固有名詞-地名-国', 'nmod', 'xx', 'True', 'False']
['の', 'の', 'ADP', '助詞-格助詞', 'case', 'x', 'True', 'True']
['新興', '新興', 'NOUN', '名詞-普通名詞-一般', 'compound', 'xx', 'True', 'False']
['企業', '企業', 'NOUN', '名詞-普通名詞-一般', 'obj', 'xx', 'True', 'False']
['を', 'を', 'ADP', '助詞-格助詞', 'case', 'x', 'True', 'True']
['10億', '10億', 'NUM', '名詞-数詞', 'nummod', 'ddx', 'False', 'False']
['ドル', 'ドル', 'NOUN', '名詞-普通名詞-助数詞可能', 'obl', 'xx', 'True', 'False']
['で', 'で', 'ADP', '助詞-格助詞', 'case', 'x', 'True', 'True']
['買収', '買収', 'NOUN', '名詞-普通名詞-サ変可能', 'ROOT', 'xx', 'True', 'False']
['か', 'か', 'PART', '助詞-終助詞', 'mark', 'x', 'True', 'True']
['。', '。', 'PUNCT', '補助記号-句点', 'punct', '。', 'False', 'False']

import spacy
from spacy import displacy

nlp = spacy.load("ja_core_news_sm")
doc = nlp("アップル、英国の新興企業を10億ドルで買収か。")

displacy.serve(doc, style="dep")

Apple 0 5 ORG
U.K. 27 31 GPE
$1 billion 44 54 MONEY

import spacy
from spacy import displacy

nlp = spacy.load("en_core_web_sm")
doc = nlp("Apple is looking at buying U.K. startup for $1 billion")

displacy.serve(doc, style="ent")

import spacy

nlp = spacy.load("ja_core_news_sm")
doc = nlp("アップル、英国の新興企業を10億ドルで買収か。")

for ent in doc.ents:
    print(ent.text, ent.start_char, ent.end_char, ent.label_)

アップル 0 4 ORG
英国 5 7 GPE
10億ドル 13 18 MONEY

import spacy
from spacy import displacy

nlp = spacy.load("ja_core_news_sm")
doc = nlp("アップル、英国の新興企業を10億ドルで買収か。")

displacy.serve(doc, style="ent")

  array([2.02280000e-01,  -7.66180009e-02,   3.70319992e-01,
         3.28450017e-02,  -4.19569999e-01,   7.20689967e-02,
         ...
        -2.97650009e-01,   7.89430022e-01,   3.31680000e-01,
        -1.19659996e+00,  -4.71559986e-02,   5.31750023e-01], dtype=float32)

import spacy

nlp = spacy.load("en_core_web_md")
tokens = nlp("dog cat banana afskfsd")

for token in tokens:
    print(token.text, token.has_vector, token.vector_norm, token.is_oov)

dog True 75.254234 False
cat True 63.188496 False
banana True 31.620354 False
afskfsd False 0.0 True

import spacy

nlp = spacy.load("en_core_web_md")  # 必ず大きめのパッケージを使用すること！
doc1 = nlp("I like salty fries and hamburgers.")
doc2 = nlp("Fast food tastes very good.")

# 2つの文書の類似性
print(doc1, "<->", doc2, doc1.similarity(doc2))
# トークンとスパンの類似性
french_fries = doc1[2:4]
burgers = doc1[5]
print(french_fries, "<->", burgers, french_fries.similarity(burgers))

I like salty fries and hamburgers. <-> Fast food tastes very good. 0.691649353055761
salty fries <-> hamburgers 0.6938489675521851

!python -m spacy download ja_core_news_md

import spacy

nlp = spacy.load("ja_core_news_md")
tokens = nlp("犬 猫 バナナ ｏｒｚ")

for token in tokens:
    print(token.text, token.has_vector, token.vector_norm, token.is_oov)

犬 True 3.4318957 False
猫 True 3.1371322 False
バナナ True 3.6754096 False
ｏｒｚ False 0.0 True

import spacy

nlp = spacy.load("ja_core_news_md")
doc1 = nlp("フライドポテトとハンバーガーが好きだ。")
doc2 = nlp("ファーストフードはとても美味しい。")

#2つの文書の類似性
print(doc1, "<->", doc2, doc1.similarity(doc2))

# トークンとスパンの類似性
french_fries = doc1[0:2]
burgers = doc1[3]
print(french_fries, "<->", burgers, french_fries.similarity(burgers))

フライドポテトとハンバーガーが好きだ。 <-> ファーストフードはとても美味しい。 0.7933248096530182
フライドポテト <-> ハンバーガー 0.7075340151786804