Closed2024/01/25にクローズ2llama.cppのサーバの立て方llama.cppkun4322023/09/06に更新llama.cppにはHTTPサーバ機能がある。 https://note.com/npaka/n/nb97e9a0d8993 これを使うとローカルだけでなく、他からも連携ができる。 以下でも触れた通り、VS CodeのContinueプラグインではllama.cppを使う場合はllama.cppのHTTPサーバ経由でアクセスしてる。 https://zenn.dev/kun432/scraps/8c9283c02c21f0 ただし、HTTPサーバ経由でのllama.cppへのアクセスは、他にも実装がある。すこし確認しておく。 kun4322024/01/25に更新この辺とか。 https://zenn.dev/kun432/scraps/5b305e76114a95 別件で確認した。 https://zenn.dev/link/comments/6c8150f6acf82e よくまとまっている https://qiita.com/takaaki_inada/items/a918ca6984e832bc9741 このスクラップは2024/01/25にクローズされました
kun4322023/09/06に更新llama.cppにはHTTPサーバ機能がある。 https://note.com/npaka/n/nb97e9a0d8993 これを使うとローカルだけでなく、他からも連携ができる。 以下でも触れた通り、VS CodeのContinueプラグインではllama.cppを使う場合はllama.cppのHTTPサーバ経由でアクセスしてる。 https://zenn.dev/kun432/scraps/8c9283c02c21f0 ただし、HTTPサーバ経由でのllama.cppへのアクセスは、他にも実装がある。すこし確認しておく。
kun4322024/01/25に更新この辺とか。 https://zenn.dev/kun432/scraps/5b305e76114a95 別件で確認した。 https://zenn.dev/link/comments/6c8150f6acf82e よくまとまっている https://qiita.com/takaaki_inada/items/a918ca6984e832bc9741
