Open1
LLM環境について
moriokaこのメモについて
- 随時更新する。
- その時点でよさそうだろう（あくまで個人利用において）組み合わせを列挙しておく。
- 問題に合わせてモデルをチューニングするのがよいだろうが、配布モデルをそのまま利用する前提。
LLM:
ローカルで動作する、長コンテキスト＋多言語対応のものが望ましい。できればollama上で動けば、不用時にはリソース解放してくれるので、望ましい。
- OpenAI gpt-4o。定番。ChatGPTplusを課金。API利用も課金。
- Google Gemini 1.5 Flash。ある程度は無料。
- Anthropic Claude3
- Cohere
- ローカル
- gemma2:9b (ollama)
- gemma2:27b (ollama)
- phi3-medium-instruct-128k(ollama)
- codellama-34b(ollama)
埋め込み
ローカルで動作する、長コンテキスト＋多言語対応のものが望ましい。できればollama上で動けば、不用時にはリソース解放してくれるので、望ましい。
- OpenAI。 text-embedding-3-small
- ローカル
- xinference/bge-m3(xinference)
- おそらく dense のみのサポート? (sparse, hybridはない?)
- ollama v0.3.4でもサポートされた
- xinference/multilingual-e5-large(xinference)
- xinference/bge-m3(xinference)
langchain_comunity.ollama.OlllamaEmbeddings であれば、任意のモデルを用いて埋め込みを作ることができる? OpenAI API互換サーバを動かすわけには。
リランキング
ローカルで動作する、長コンテキスト＋多言語対応のものが望ましい。できればollama上で動けば、不用時にはリソース解放してくれるので、望ましい。
- cohere
- ローカル
- xinference/bge-reranker-v2-m3 (xinference)
- xinference/bge-reranker-v2-gemma (xinference)
オーケストレーション
- dify
- firecrawl https://github.com/mendableai/firecrawl
- langchain
- llamaindex
- langflow
グラフ
- llamaindex + neo4j
- llamaindex property graph
- Microsoft GraphRAG
- GNN-RAG
マルチモーダル
音声(TTS)
voiceboxがお手軽なのかな。
音声(STT)
自前でも作っていたが(https://github.com/morioka/tiny-openai-whisper-api)
xinference で広くサポートされている様子。
ゲーム
まとめ記事
以下でよい気がする。