Zenn
🤖

ZedでローカルLLMを動かす

2024/06/09に公開
LLM
zed
Ollama
tech

ZedというRustで書かれたEditorがある。
もともとOpenAIのAPIを使ってLLMの支援を受けながらコーディング可能だったが、気づいたらローカルLLMでの開発も可能となっていた。
公式ドキュメントにも記載があるがちょっとしたメモがてらここでも紹介する

前提条件

  • ollamaのインストール
  • Zedのインストール

設定手順

ドキュメントに基本的に従えばいい。
https://zed.dev/docs/assistant-panel#using-ollama-on-macos

  1. 以下の項目をsettings.jsonに追加する。
    もし、通常はGitHub Copilotを使いたい場合は編集対象のディレクトリの直下に~/zed/settings.jsonを作成し、ローカル設定として保存する方が良い。それ以外は~/.config/zed/settings.jsonを編集してglobal設定にしてしまっても問題がない。
{
  "assistant": {
    "version": "1",
    "provider": {
      "name": "openai",
      "type": "openai",
      "default_model": "gpt-4-turbo-preview",
      "api_url": "http://localhost:11434/v1"
    }
  }
}
  1. mistralをDownloadする
ollama run mistral
  1. misralをcopyして、zedで認識しているモデルにリネームする
ollama cp mistral gpt-4o
  1. Zedを再起動

使い方

VSCodeのGitHub Copilot Chatのように気の効いたUIがあるわけではなく、コードの説明などを求めたい時はAssitant Panelにコードの内容をコピーするか、Editor上のコマンドを使う必要がある。

https://zed.dev/docs/assistant-panel

Discussion