neologdn.normalize('「初めてのTensorFlow」は定価2200円+税です')
'「初めてのTensorFlow」は定価2200円+税です'
neologdn.normalize('「初めての　TensorFlow」は定価２２００円+税です')
'「初めてのTensorFlow」は定価2200円+税です'
neologdn.normalize('「初めての TensorFlow」は定価2200円＋税です')
'「初めてのTensorFlow」は定価2200円+税です'

neologdn.normalize('「初めての TensorFlow」は定価2200円＋税です').lower()
'「初めてのtensorflow」は定価2200円+税です'

import unicodedata

# 変換のルールとしてNFKCを指定
>>> normalized = unicodedata.normalize('NFKC', '㈱リックテレコム')
>>> assert normalized == '(株)リックテレコム'
>>> print(normalized)
(株)リックテレコム

  - before:
  - 本 を 読ん だ
  - 本 を 読み まし た
  - 
  - after:
  - 本 を 読む だ
  - 本 を 読む ます た

 import MeCab
 
 tagger = MeCab.Tagger()
 
 def tokenize(text):
     node = tagger.parseToNode(text)
     result = []
     while node:
         features = node.feature.split(',')
         
         if features[0] != 'BOS/EOS':
             token = features[6] if features[6] != '*' else node.surface
             result.append(token)
         
         node = node.next
     
     return result
     
    >>> print(tokenize('本を読んだ'))
    ['本', 'を', '読む', 'だ']
    >>> print(tokenize('本を読みました'))
    ['本', 'を', '読む', 'ます', 'た']

 import MeCab
 
 tagger = MeCab.Tagger()
 
 def tokenize(text, stop_words):
     node = tagger.parseToNode(text)
     result = []
     while node:
         features = node.feature.split(',')
         
         if features[0] != 'BOS/EOS':
             token = features[6] if features[6] != '*' else node.surface
             if token not in stop_words:
                 result.append(token)
         
         node = node.next
     
     return result
     
 >>> stop_words = ['て', 'に', 'を', 'は', 'です', 'ます']
 >>> tokenize('本を読んだ', stop_words)
 ['本', '読む', 'だ']
 >>> tokenize('本を読みました', stop_words)
 ['本', '読む', 'た']

 import MeCab
 
 tagger = MeCab.Tagger()
 
 def tokenize(text, stop_words):
     node = tagger.parseToNode(text)
     result = []
     while node:
         features = node.feature.split(',')
         
         if features[0] != 'BOS/EOS':
             if features[0] not in ['助詞', '助動詞']:
                 token = features[6] if features[6] != '*' else node.surface
                 result.append(token)
         
         node = node.next
     
     return result
 
 >>> tokenize('本を読んだ', stop_words)
 ['本', '読む']
 >>> tokenize('本を読みました', stop_words)
 ['本', '読む']

 import re
 
 def tokenize_numbers(text):
    return re.sub(r'\d+', ' SOMENUMBER ', text)
 
 >>> print(tokenize_numbers('卵を１個買ったよ'))
 >>> print(tokenize_numbers('卵を2個買ったよ'))
 >>> print(tokenize_numbers('卵を10個買ったよ'))
 卵を SOMENUMBER 個買ったよ
 卵を SOMENUMBER 個買ったよ
 卵を SOMENUMBER 個買ったよ

def normalize_number(text):
    replaced_text = re.sub(r'\d+', '0', text)
    return replaced_text

$ text = '2 万 0689・24ドル'
$ normalize_number(text)
0 万 0・0ドル
def normalize_number(text):
    replaced_text = re.sub(r'\d', '0', text)
    return replaced_text

$ text = '2 万 0689・24ドル'
$ normalize_number(text)
0 万 0000・00ドル

 import unicodedata
 
 import MeCab
 import pandas as pd
 from sklearn.feature_extraction.text import CountVectorizer
 from sklearn.pipeline import Pipeline
 from sklearn.svm import SVC
 import neologdn
 
 
 class DialogueAgent:
     def __init__(self):
         self.tagger = MeCab.Tagger()
         
     def _tokenize(self, text):
         # Unicode正規化
         text = unicodedata.normalize('NFKC', text)
         # 正規化
         text = neologdn.normalize(text)
         # 大文字を小文字に統一
         text = text.lower()
         
         node = self.tagger.parseToNode(text)
         
         tokens = []
         while node:
             features = node.feature.split(',')
             if features[0] != 'BOS/EOS':
             	# 品詞ベースでストップワードを除去
                 if features[0] not in ['助詞', '助動詞']:
                     token = features[6] \
                             if features[6] != '*' \
                             else node.surface
                     tokens.append(token)
             
             node = node.next
             
         return tokens
     
     def train(self, texts, labels):
         pipeline = Pipeline([
             ('vectorizer', CountVectorizer(tokenizer=self._tokenize)),
             ('classifier', SVC())
         ])
         
         pipeline.fit(texts, labels)
         
         self.pipeline = pipeline
         
     def predict(self, texts):
         return self.pipeline.predict(texts)
     
 training_data = pd.read_csv('./data/training_data_added.csv')
 dialogue_agent = DialogueAgent()
 dialogue_agent.train(training_data['text'], training_data['label'])
 
 with open('./data/replies_added.csv') as f:
     replies = f.read().split('\n')
 
 
 >>> input_text = '名前を教えてよ'
 >>> predictions = dialogue_agent.predict([input_text])
 >>> predicted_class_id = predictions[0]
 
 >>> from sklearn.metrics import accuracy_score
 
 >>> test_data = pd.read_csv('./data/test_data.csv')
 >>> predictions = dialogue_agent.predict(test_data['text'])
 >>> print(accuracy_score(test_data['label'], predictions))
 0.43617021276595747 # 前処理前は0.3723404255319149

...
content-type: text/html; charset=utf-8
date: Wed, 01 Jan 2020 12:51:55 GMT
etag: "8af2-599e258eae140;89-3f26bd17a2f00-gzip"
expires: Wed, 01 Jan 2020 13:01:55 GMT
last-modified: Tue, 17 Dec 2019 08:45:17 GMT
status: 200
...

>>> hex(ord('あ'))
'0x3042'
>>> chr(0x3042)
'あ'

# 合成済み文字列での表現
>>> hex(ord('デ'))
'0x30c7'
>>> chr(0x30c7)
'デ'
 
# 結合文字列での表現
>>> chr(0x30C6)
'テ'
>>> chr(0x3099)
'゙'
>>> chr(0x30C6) + chr(0x3099)
'デ'

>>> unicode = "\u2660"
>>> unicode
'♠'

# 形態素分析ライブラリーMeCab と 辞書(mecab-ipadic-NEologd)のインストール 
!apt-get -q -y install sudo file mecab libmecab-dev mecab-ipadic-utf8 git curl python-mecab > /dev/null
!git clone --depth 1 https://github.com/neologd/mecab-ipadic-neologd.git > /dev/null 
!echo yes | mecab-ipadic-neologd/bin/install-mecab-ipadic-neologd -n > /dev/null 2>&1
!pip install mecab-python3 > /dev/null

# シンボリックリンクによるエラー回避
!ln -s /etc/mecabrc /usr/local/etc/mecabrc

# Kaggleが提供しているDockerイメージをベース
FROM gcr.io/kaggle-images/python:v67

RUN pip install -U pip && \
    pip install fastprogress japanize-matplotlib

# mecabとmecab-ipadic-NEologdの導入
RUN apt-get update \
    && apt-get install -y mecab \
    && apt-get install -y libmecab-dev \
    && apt-get install -y mecab-ipadic-utf8 \
    && apt-get install -y git \
    && apt-get install -y make \
    && apt-get install -y curl \
    && apt-get install -y xz-utils \
    && apt-get install -y file \
    && apt-get install -y sudo


RUN git clone --depth 1 https://github.com/neologd/mecab-ipadic-neologd.git \
    && cd mecab-ipadic-neologd \
    && bin/install-mecab-ipadic-neologd -n -y

RUN pip install mecab-python3

# nodejsの導入
RUN curl -sL https://deb.nodesource.com/setup_12.x | sudo -E bash - \
    && sudo apt-get install -y nodejs

## JupyterLabの拡張機能

# 変数や行列の中身を確認
RUN jupyter labextension install @lckr/jupyterlab_variableinspector

# 自動整形
RUN pip install autopep8 \
    && pip install jupyterlab_code_formatter \
    && jupyter labextension install @ryantam626/jupyterlab_code_formatter \
    && jupyter serverextension enable --py jupyterlab_code_formatter

version: "3"
services:
  jupyterlab:
    build: .
    volumes:
      - $PWD:/content
    working_dir: /content
    ports:
      - 8888:8888
    command: jupyter lab --ip=0.0.0.0 --allow-root --no-browser

 # CRF++のインストール
 brew install crf++
 
 # mecabと辞書のインストール
 brew install mecab mecab-ipadic
 To enable mecab-ipadic dictionary, add to /usr/local/etc/mecabrc:
   dicdir = /usr/local/lib/mecab/dic/ipadic
 
 # mecabのインストール確認  
 mecab
 きょうはいい天気ですね。
 きょう	名詞,副詞可能,*,*,*,*,きょう,キョウ,キョー
 は	助詞,係助詞,*,*,*,*,は,ハ,ワ
 いい	形容詞,自立,*,*,形容詞・イイ,基本形,いい,イイ,イイ
 天気	名詞,一般,*,*,*,*,天気,テンキ,テンキ
 です	助動詞,*,*,*,特殊・デス,基本形,です,デス,デス
 ね	助詞,終助詞,*,*,*,*,ね,ネ,ネ
 。	記号,句点,*,*,*,*,。,。,。
 EOS
 
 # mecab-ipadic-NEologdのインストール
 git clone --depth 1 https://github.com/neologd/mecab-ipadic-neologd.git
 cd mecab-ipadic-neologd
 # 標準設定
 ./bin/install-mecab-ipadic-neologd -n
 # -dオプションを設定して使用
 mecab -d /usr/local/lib/mecab/dic/mecab-ipadic-neologd/
 
 # CaboChaのインストール
 brew install cabocha
 # CaboChaのインストール確認
 cabocha
 今日はいい天気ですね。
       今日は---D
           いい-D
     天気ですね。
 EO
 
 # cabochaのPythonバインディングをインストール
 curl -OL https://github.com/taku910/cabocha/archive/master.zip
 unzip master.zip
 cd cabocha-master
 pip install python/
 # インストール確認
 python
 >>> import CaboCha

 $ sudo yum update
 $ sudo yum install gcc make glibc gcc-c++ python-devel
 
 # CRFのインストール
 $ wget -O CRF++-0.58.tar.gz 'https://drive.google.com/uc?export=download&id=0B4y35FiV1wh7QVR6VXJ5dWExSTQ'
 $ tar xvzf CRF++-0.58.tar.gz
 $ cd CRF++-0.58
 $ ./configure
 $ make
 $ sudo make install
 $ cd ../
 
 # MeCabのインストール
 $ wget -O mecab-0.996.tar.gz 'https://drive.google.com/uc?export=download&id=0B4y35FiV1wh7cENtOXlicTFaRUE'
 $ tar xvzf mecab-0.996.tar.gz
 $ cd mecab-0.996
 $ ./configure
 $ make
 $ make check
 $ sudo make install
 $ cd ../
 
 # 辞書(IPADIC)のインストール
 $ wget -O mecab-ipadic-2.7.0-20070801.tar.gz 'https://drive.google.com/uc?export=download&id=0B4y35FiV1wh7MWVlSDBCSXZMTXM'
 $ tar xvzf mecab-ipadic-2.7.0-20070801.tar.gz
 $ cd mecab-ipadic-2.7.0-20070801
 $ ./configure -with-charset=utf-8 –enable-utf8-only
 $ make
 $ sudo make install
 $ cd ../
 
 # Cabochaのインストール
 $ FILE_ID=0B4y35FiV1wh7SDd1Q1dUQkZQaUU
 $ FILE_NAME=cabocha-0.69.tar.bz2
 $ curl -sc /tmp/cookie "https://drive.google.com/uc?export=download&id=${FILE_ID}" > /dev/null
 $ CODE="$(awk '/_warning_/ {print $NF}' /tmp/cookie)"  
 $ curl -Lb /tmp/cookie "https://drive.google.com/uc?export=download&confirm=${CODE}&id=${FILE_ID}" -o ${FILE_NAME}
 
 $ tar -jxf cabocha-0.69.tar.bz2
 $ cd cabocha-0.69
 $ ./configure -with-charset=utf-8
 $ make
 $ sudo make install
 $ cd ../

 # mecab-pythonのインストール
 pip install mecab-python3 --user
 
 # Cabochaのインストール
 git clone https://github.com/taku910/cabocha.git
 cd cabocha
  pip install python/ --user
  
 # ライブラリにパスを通す
 sudo vi /etc/ld.so.conf #文末に/usr/local/libを追加
 sudo ldconfig

sudo apt install mecab libmecab-dev mecab-ipadic mecab-ipadic-utf8


# Pythonバインディングのインストール
pip install mecab-python3

Failed initializing MeCab. Please see the README for possible solutions:

    https://github.com/SamuraiT/mecab-python3#common-issues

If you are still having trouble, please file an issue here, and include the
ERROR DETAILS below:

    https://github.com/SamuraiT/mecab-python3/issues

issueを英語で書く必要はありません。

------------------- ERROR DETAILS ------------------------
arguments: 
error message: [ifs] no such file or directory: /usr/local/etc/mecabrc

# リポジトリのクローン
git clone --depth 1 https://github.com/neologd/mecab-ipadic-neologd.git
cd mecab-ipadic-neologd
# インストールの実行
./bin/install-mecab-ipadic-neologd -n

# 途中でインストールするか聞かれるのでyesと応える
[install-mecab-ipadic-NEologd] : Do you want to install mecab-ipadic-NEologd? Type yes or no.
yes
...
[install-mecab-ipadic-NEologd] : Install completed.
[install-mecab-ipadic-NEologd] : When you use MeCab, you can set '/usr/local/lib/mecab/dic/mecab-ipadic-neologd' as a value of '-d' option of MeCab.
[install-mecab-ipadic-NEologd] : Usage of mecab-ipadic-NEologd is here.
Usage:
 $ mecab -d /usr/local/lib/mecab/dic/mecab-ipadic-neologd ...

[install-mecab-ipadic-NEologd] : Finish..
[install-mecab-ipadic-NEologd] : Finish..

reading ./Verb.csv ... 130750
terminate called after throwing an instance of 'std::bad_alloc'         | 
   what():  std::bad_alloc
/home/ec2-user/environment/mecab-ipadic-neologd/bin/../libexec/make-mecab-ipadic-neologd.sh: line 525:  6769 Aborted                 ${MECAB_LIBEXEC_DIR}/mecab-dict-index -f UTF8 -t UTF8

 # 語順によって意味が変わらないケース
 明日友達と遊園地に遊びに行く
 友達と遊園地に明日遊びに行く
 
 # 語順によって意味が変わるケース
 犬が人をかんだ
 人が犬をかんだ

 from tokenizer import tokenize
 
 def calc_bow(tokenized_texts):
     # 引数の文章すべてから単語のリストを作成する
     vocabulary = {}
     for tokenized_text in tokenized_texts:
         for token in tokenized_text:
             if token not in vocabulary:
                 vocabulary[token] = len(vocabulary)
     n_vocab = len(vocabulary)
     
     ### Build BoW Feature Vector
     # 0で埋めたベクトルを作成する
     bow = [[0] * n_vocab for i in range(len(tokenized_texts))]
     # 文章の中で単語の出現回数をカウントする
     for i, tokenized_text in enumerate(tokenized_texts):
         for token in tokenized_text:
             index = vocabulary[token]
             bow[i][index] += 1
     return vocabulary, bow
 
 texts = [
     '私は私のことが好きなあなたが好きです',
     '私はラーメンが好きです',
     '富士山は日本一高い山です'
 ]
 tokenized_texts = [tokenize(text) for text in texts]
 vocabulary, bow = calc_bow(tokenized_texts)

 from os.path import dirname, join, normpath
 
 import pandas as pd
 from sklearn.feature_extraction.text import CountVectorizer
 
 from tokenizer import tokenize
 
 # データ読み込み
 # BASE_DIR = normpath(dirname(__file__))
 # csv_path = join(BASE_DIR, './data/training_data.csv')
 training_data = pd.read_csv('./data/training_data.csv')
 training_texts = training_data['text']
 
 ### bag of wordsの計算
 # モデルの定義
 vectorizer = CountVectorizer(tokenizer=tokenize)
 
 # 語彙の獲得(対象のテキスト内のすべてのトークンから辞書を生成する)
 vectorizer.fit(training_texts)
 
 # 特徴ベクトル化
 bow = vectorizer.transform(training_texts)

# 上記の2行はfit_transformを使って1行にまとめることもできる
# vectorizer.fit_transform(training_texts)

print(bow.toarray())

 from sklearn.feature_extraction.text import TfidfVectorizer
 
 from tokenizer import tokenize
 
 texts = [
     '私は私のことが好きなあなたが好きです',
     '私はラーメンが好きです。',
     '富士山は日本一高い山です'
 ]
 
 # TF-IDF計算
 vectorizer = TfidfVectorizer(tokenizer=tokenize)
 vectorizer.fit(texts)
 tfidf = vectorizer.transform(texts)
 >>> tfidf
 <3x15 sparse matrix of type '<class 'numpy.float64'>'
 	with 22 stored elements in Compressed Sparse Row format>
 >>> tfidf.toarray()
 array([[0.        , 0.29312473, 0.44585783, 0.29312473, 0.17312419,
         0.29312473, 0.29312473, 0.17312419, 0.        , 0.44585783,
         0.        , 0.        , 0.        , 0.44585783, 0.        ],
        [0.47496141, 0.        , 0.3612204 , 0.        , 0.28051986,
         0.        , 0.        , 0.28051986, 0.47496141, 0.3612204 ,
         0.        , 0.        , 0.        , 0.3612204 , 0.        ],
        [0.        , 0.        , 0.        , 0.        , 0.27249889,
         0.        , 0.        , 0.27249889, 0.        , 0.        ,
         0.46138073, 0.46138073, 0.46138073, 0.        , 0.46138073]])

 # uni-gram
 東京 / から / 大阪 / に / 行く
	
# bi-gram
東京から / から大阪 / 大阪に / に行く
大阪から / から東京 / 東京に / に行く

  - 単語	登場回数
  - 東京から	1
  - から大阪	1
  - 大阪に	1
  - に行く	1
  - 大阪から	0
  - から東京	0
  - 東京に	0

  - 単語	登場回数
  - 東京から	0
  - から大阪	0
  - 大阪に	0
  - に行く	0
  - 大阪から	1
  - から東京	1
  - 東京に	1

 from sklearn.feature_extraction.text import CountVectorizer
 
 from tokenizer import tokenize
 
 texts = [
     '東京から大阪に行く',
     '大阪から東京に行く'
 ]
 
 # bi-gram
 >>> vectorizer = CountVectorizer(tokenizer=tokenize, ngram_range=(2, 2))
 >>> vectorizer.fit(texts)
 >>> bow = vectorizer.transform(texts)
 >>> bow.toarray()
 array([[1, 0, 1, 0, 1, 1, 0],
        [0, 1, 1, 1, 0, 0, 1]])

 from sklearn.feature_extraction.text import TfidfVectorizer
 
 from tokenizer import tokenize
 
 texts = [
     '東京から大阪に行く',
     '大阪から東京に行く'
 ]
 
 # bi-gram
 vectorizer = TfidfVectorizer(tokenizer=tokenize, ngram_range=(2, 2))
 vectorizer.fit(texts)
 bow = vectorizer.transform(texts)

  - 東京か	1
  - 京から	1
  - から大	1
  - ら大阪	1
  - 大阪に	1
  - 阪に行	1
  - に行く	1

 from sklearn.feature_extraction.text import CountVectorizer
 
 texts = [
     '東京から大阪に行く',
     '大阪から東京に行く'
 ]
 
 
 >>> vectorizer = CountVectorizer(analyzer='char', ngram_range=(3, 3))
 >>> vectorizer.fit(texts)
 >>> bow = vectorizer.transform(texts)
 >>> vectorizer.vocabulary_
 {'から大': 0,
  'から東': 1,
  'に行く': 2,
  'ら大阪': 3,
  'ら東京': 4,
  '京から': 5,
  '京に行': 6,
  '大阪か': 7,
  '大阪に': 8,
  '東京か': 9,
  '東京に': 10,
  '阪から': 11,
  '阪に行': 12}

 import scipy
 from sklearn.feature_extraction.text import CountVectorizer
 
 from tokenizer import tokenize
 
 texts = [
     '私は私のことが好きなあなたが好きです',
     '私はラーメンが好きです。',
     '富士山は日本一高い山です'
 ]
 
 # 2種類の特徴量を定義
 word_bow_vectorizer = CountVectorizer(tokenizer=tokenize)
 char_bigram_vectorizer = CountVectorizer(analyzer='char', ngram_range=(2, 2))
 
 # 学習
 word_bow_vectorizer.fit(texts)
 char_bigram_vectorizer.fit(texts)
 
 # 特徴量を抽出
 word_bow = word_bow_vectorizer.transform(texts)
 char_bigram = char_bigram_vectorizer.transform(texts)
 
 feat = scipy.sparse.hstack((word_bow, char_bigram))

 from sklearn.feature_extraction.text import CountVectorizer
 from sklearn.pipeline import FeatureUnion
 
 from tokenizer import tokenize
 
 texts = [
     '私は私のことが好きなあなたが好きです',
     '私はラーメンが好きです。',
     '富士山は日本一高い山です'
 ]
 
 word_bow_vectorizer = CountVectorizer(tokenizer=tokenize)
 char_bigram_vectorizer = CountVectorizer(analyzer='char', ngram_range=(2, 2))
 
 estimators = [
     ('bow', word_bow_vectorizer),
     ('char_bigram', char_bigram_vectorizer)
 ]
 
 combined = FeatureUnion(estimators)
 combined.fit(texts)
 feat = combined.transform(texts)

 import re
 
 from sklearn.base import BaseEstimator, TransformerMixin
 from sklearn.feature_extraction import DictVectorizer
 from sklearn.feature_extraction.text import CountVectorizer
 from sklearn.pipeline import FeatureUnion, Pipeline
 
 rx_periods = re.compile(r'[.。.]+')
 
 class TextStats(BaseEstimator, TransformerMixin):
     def fit(self, x, y=None):
         return self
     
     def transform(self, texts):
         return [
             {
                 'length': len(text),
                 'num_sentences': len([sent for sent in rx_periods.split(text)
                                       if len (sent) > 0])
             }
             for text in texts
         ]
 
 
 combined = FeatureUnion([
     ('stats', Pipeline([
         ('stats', TextStats()),
         ('vect', DictVectorizer()),
     ])),
     ('char_bigram', CountVectorizer(analyzer='char', ngram_range=(2, 2))), 
 ])
 
 texts = [
     'こんにちは。こんばんは',
     '焼き肉が食べたい'
 ]
 
 >>> combined.fit(texts)
 >>> feat = combined.transform(texts)
 >>> feat
 array([[11.,  2.,  1.,  0.,  0.,  2.,  0.,  1.,  1.,  1.,  1.,  0.,  1.,
          1.,  1.,  0.,  0.,  0.],
        [ 8.,  1.,  0.,  1.,  1.,  0.,  1.,  0.,  0.,  0.,  0.,  1.,  0.,
          0.,  0.,  1.,  1.,  1.]])
          
 >>> model = TextStats()
 >>> model.transform(texts)
 [{'length': 11, 'num_sentences': 2}, {'length': 8, 'num_sentences': 1}]

import MeCab

tagger = MeCab.Tagger()
print(tagger.parse('国境の長いトンネルを抜けると雪国であった。'))
>>> 
国境	名詞,一般,*,*,*,*,国境,コッキョウ,コッキョー
の	助詞,格助詞,一般,*,*,*,の,ノ,ノ
長い	形容詞,自立,*,*,形容詞・アウオ段,基本形,長い,ナガイ,ナガイ
トンネル	名詞,一般,*,*,*,*,トンネル,トンネル,トンネル
を	助詞,格助詞,一般,*,*,*,を,ヲ,ヲ
抜ける	動詞,自立,*,*,一段,基本形,抜ける,ヌケル,ヌケル
と	助詞,接続助詞,*,*,*,*,と,ト,ト
雪国	名詞,一般,*,*,*,*,雪国,ユキグニ,ユキグニ
で	助動詞,*,*,*,特殊・ダ,連用形,だ,デ,デ
あっ	助動詞,*,*,*,五段・ラ行アル,連用タ接続,ある,アッ,アッ
た	助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
。	記号,句点,*,*,*,*,。,。,。
EOS

import MeCab

# mecab-ipadic-neologdを指定
path = "-d /usr/lib/x86_64-linux-gnu/mecab/dic/mecab-ipadic-neologd"
tagger = MeCab.Tagger()
print(tagger.parse('国境の長いトンネルを抜けると雪国であった。'))

import MeCab

tagger = MeCab.Tagger()
node = tagger.parseToNode('国境の長いトンネルを抜けると雪国であった。')

while node:
    print('単語: ', node.surface)
    print('品詞: ', node.feature)
    node = node.next
>>> 
単語:  
品詞:  BOS/EOS,*,*,*,*,*,*,*,*
単語:  国境
品詞:  名詞,一般,*,*,*,*,国境,コッキョウ,コッキョー
単語:  の
品詞:  助詞,格助詞,一般,*,*,*,の,ノ,ノ
単語:  長い
品詞:  形容詞,自立,*,*,形容詞・アウオ段,基本形,長い,ナガイ,ナガイ
単語:  トンネル
品詞:  名詞,一般,*,*,*,*,トンネル,トンネル,トンネル
単語:  を
品詞:  助詞,格助詞,一般,*,*,*,を,ヲ,ヲ
単語:  抜ける
品詞:  動詞,自立,*,*,一段,基本形,抜ける,ヌケル,ヌケル
単語:  と
品詞:  助詞,接続助詞,*,*,*,*,と,ト,ト
単語:  雪国
品詞:  名詞,一般,*,*,*,*,雪国,ユキグニ,ユキグニ
単語:  で
品詞:  助動詞,*,*,*,特殊・ダ,連用形,だ,デ,デ
単語:  あっ
品詞:  助動詞,*,*,*,五段・ラ行アル,連用タ接続,ある,アッ,アッ
単語:  た
品詞:  助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
単語:  。
品詞:  記号,句点,*,*,*,*,。,。,。
単語:  
品詞:  BOS/EOS,*,*,*,*,*,*,*,*

import MeCab

tagger = MeCab.Tagger()

def tokenize(text):
    node = tagger.parseToNode(text)

    tokens = []
    while node:
        if node.surface != '':
            tokens.append(node.surface)
        
        node = node.next
    return tokens

tokenize('国境の長いトンネルを抜けると雪国であった。')
>>> 
['国境', 'の', '長い', 'トンネル', 'を', '抜ける', 'と', '雪国', 'で', 'あっ', 'た', '。']

# 文章
国境の長いトンネルを抜けると雪国であった。

# わかち書き
['国境', 'の', '長い', 'トンネル', 'を', '抜ける', 'と', '雪国', 'で', 'あっ', 'た', '。']

# 特徴ベクトル
[0, 1, 2, 0, 0, ..., 3, 1, 0]

def tokenize(text):
    node = tagger.parseToNode(text)
    result = []
    while node:
        features = node.feature.split(',')
        print(features) # 形態素解析の結果を表示

['名詞', 'サ変接続', '*', '*', '*', '*', '予定', 'ヨテイ', 'ヨテイ']
['助詞', '格助詞', '一般', '*', '*', '*', 'の', 'ノ', 'ノ']
['形容詞', '自立', '*', '*', '形容詞・アウオ段', '基本形', 'ない', 'ナイ', 'ナイ']
['名詞', '副詞可能', '*', '*', '*', '*', '休日', 'キュウジツ', 'キュージツ']
['助詞', '係助詞', '*', '*', '*', '*', 'は', 'ハ', 'ワ']
['名詞', '副詞可能', '*', '*', '*', '*', 'お昼', 'オヒル', 'オヒル']
['助詞', '格助詞', '一般', '*', '*', '*', 'から', 'カラ', 'カラ']
['動詞', '自立', '*', '*', '五段・マ行', '連用タ接続', '飲む', 'ノン', 'ノン']
['動詞', '非自立', '*', '*', '五段・ワ行促音便', '未然ウ接続', 'じゃう', 'ジャオ', 'ジャオ']
['助動詞', '*', '*', '*', '不変化型', '基本形', 'う', 'ウ', 'ウ']
['記号', '句点', '*', '*', '*', '*', '。', '。', '。']
['名詞', '副詞可能', '*', '*', '*', '*', '毎年', 'マイトシ', 'マイトシ']
['名詞', '一般', '*', '*', '*', '*', '恒例', 'コウレイ', 'コーレイ']
['助詞', '連体化', '*', '*', '*', '*', 'の', 'ノ', 'ノ']
['名詞', '固有名詞', '地域', '一般', '*', '*', '鎌倉', 'カマクラ', 'カマクラ']
['名詞', '接尾', '地域', '*', '*', '*', '産', 'サン', 'サン']
['助詞', '連体化', '*', '*', '*', '*', 'の', 'ノ', 'ノ']
['接頭詞', '名詞接続', '*', '*', '*', '*', '青', 'アオ', 'アオ']
['名詞', '固有名詞', '一般', '*', '*', '*', 'みかん。', 'ミカン', 'ミカン']
['助詞', '格助詞', '一般', '*', '*', '*', 'を', 'ヲ', 'ヲ']
['名詞', 'サ変接続', '*', '*', '*', '*', '投入', 'トウニュウ', 'トーニュー']
['動詞', '自立', '*', '*', 'サ変・スル', '連用形', 'する', 'シ', 'シ']
['助動詞', '*', '*', '*', '特殊・タ', '基本形', 'た', 'タ', 'タ']

# SVDを実行

from sklearn.decomposition import TruncatedSVD
import pandas as pd
from sklearn.feature_extraction.text import CountVectorizer

vectorizer = CountVectorizer(tokenizer=tokenize)
vectorizer.fit(texts)
bow = vectorizer.transform(texts)

bow_table = pd.DataFrame(bow.toarray(), columns=vectorizer.get_feature_names())
svd = TruncatedSVD(n_components=4, random_state=42)
svd.fit(bow)

decompose_features = svd.transform(bow)

LookupError: 
**********************************************************************
    Resource stopwords not found.
    Please use the NLTK Downloader to obtain the resource:

    >>> import nltk
    >>> nltk.download('stopwords')
    
    For more information see: https://www.nltk.org/data.html

    Attempted to load corpora/stopwords
 
    Searched in:
        '/home/deepstation/nltk_data'
        '/home/deepstation/Documents/venv/nltk_data'
        '/home/deepstation/Documents/venv/share/nltk_data'
        '/home/deepstation/Documents/venv/lib/nltk_data'
        '/usr/share/nltk_data'
        '/usr/local/share/nltk_data'
        '/usr/lib/nltk_data'
        '/usr/local/lib/nltk_data'
**********************************************************************

Python 3.6.6 (default, Oct 11 2018, 12:51:46) 
[GCC 5.4.0 20160609] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import nltk
>>> nltk.download('stopwords')
[nltk_data] Downloading package stopwords to
[nltk_data]     /home/deepstation/nltk_data...
[nltk_data]   Unzipping corpora/stopwords.zip.
True