🐪
Copilot+PCでGemma2を動かしてみる
Copilot+PCにはSnapdragon製の「NPU」が搭載されており、Gemma2を動かしたときに「NPU」が活用されているか見ていきます。
ただ、下記記事を拝見するに、Gemma2はGoogle CloudのTPU、NVIDIA A100、NVIDIA H100などで実行できるように設計されているようで、望み薄です。笑
1.まずは、Gemma2を動かすためにOllamaをインストールします。下記サイトの「Download」をクリックします
2.今回Windows PCなので「Download for Windows (Preview)」をクリックします
3.ダウンロードされた「OllamaSetup.exe」を実行してインストールします
4.コマンドプロンプトを開きます
5.「ollama pull gemma2」を実行してGemma2をインストールします
ollama pull gemma2
6.「ollama run gemma2」でGemma2を起動します
ollama run gemma2
7.「how are you?」とGemma2に話しかけてみます
結果ですが、「CPU」と「GPU」で演算しているようで「NPU」は無風でした。。。
下記回答が返ってきましたが、生成に5分くらいかかりました。
望み薄でしたが、やはり「NPU」は活用されずでした。
Discussion