OpenHandsをローカルLLM(LMStudio)で動かす Windows11版

Windows11でOpenHandsとLLMStudio連携してみた

なんてことはないのだが苦戦したので記事に。

前提条件

• Windows 11
• LMStudioインストール済
• WSL設定済み
• Docker Desktopインストール済
• 64GB程度メモリある(たぶん32GBでも行けそう)

compose.yamlの設定

いきなりだがcompose.yamlを作ってdocker-composeで動かす

version: "3.8"

services:
  openhands:
    image: docker.all-hands.dev/all-hands-ai/openhands:0.39
    container_name: openhands-app
    ports:
      - "127.0.0.1:3000:3000"
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
      - ~/.openhands-state:/.openhands-state
    environment:
      - SANDBOX_RUNTIME_CONTAINER_IMAGE=docker.all-hands.dev/all-hands-ai/runtime:0.39-nikolaik
      - LLM_BASE_URL=http://host.docker.internal:11434
    extra_hosts:
      - "host.docker.internal:host-gateway"

LLMStudioの設定

最近リリースされたDevstralを使ってみる

https://lmstudio.ai/model/devstral-small-2505-mlx

Modelのダウンロードが完了したら、DeveloperのSettingsでEnable CORSをONにする

次にコンテキスト長をMaxまで引き上げる
Maxまで引き上げないとコンテキスト長が足りずエラーでます

OpenHandsの設定

上記のcompose.yamlのあるディレクトリ以下を実行し、
http://localhost:3000/settings
にてOpenHandsをブラウザ上で開く

docker compose up -d

• Custom Model: lm_studio/devstral-small-2505
• Base URL: http://host.docker.internal:1234/v1
• API Key: テキトーな値
• Agent: CodeActAgent

に設定する

続いて

http://localhost:3000/

から
Launch from Scratch
ボタンをクリックし会話を始めてみる

結構時間がかかるが無事会話できる

参考記事

https://dev.to/udiko/how-to-run-openhands-with-a-local-llm-using-lm-studio-41j6

その他

なんかOpenHands経由だとレスポンスが重い気がする