Elasticsearch と NLP

Elasticsearch 8.0 から NLP を利用できるようになった。何のことか全くわからなかったので調べてみる

https://www.elastic.co/blog/introduction-to-nlp-with-pytorch-models

本文ざっくりまとめ

• Machine Learning の機能なので PLATI­NUM Subscription 以上
• PyTorch機械学習モデルをアップロードする機能を導入
• Elasticsearch 内で NLP できるようになった
• ベクトル検索がやりやすくなる
• NLP で何ができる（Elasticsearch でできる NLP とは別）
  • センチメント分析：肯定/否定の二値分類
  • Named entity recognition (NER)：名前、場所、組織の抽出
  • テキスト分類
  • Text embededding
• Elasticsearch ができる NLP を扱うための機能
  • モデルをアップロードできる（Eland クライアント）
    • https://github.com/elastic/eland
  • Kibana による管理画面
  • PyTorch のサポート
• Elasticsearch と PyTorch
  • libtorch を利用
  • TorchScript representation としてエクスポートされたモデルのみ利用可能
  • 今後は PyTorch NLP、Hugging Face Transformers、Facebook’s fairseq なども利用可能にする予定
  • PyTorch の自然言語処理でできることはできるのかな？
• 利用方法
  • モデルアップロード（Eland でローカルやインターネットにあるモデルを簡単にアップロードできる）
  • インデックスから学習
  • 推論