Open1

Macbook上にローカルLLM環境構築メモ

szczytszczyt

目的

コストを気にせず使用できるLLM環境を手元のMacbookに構築する。
日進月歩の世界の為、先駆者のメモが役に立たないので自分用にメモを残す目的で作成。
ライブラリはOllamaを使用し、7Bモデルを動かすことが目標。

環境

  • Macbook Pro (M1 pro)
  • DRAM 16GB
    整備済で購入したためプロセッサは旧型。