🐪

Copilot+PCでGemma2を動かしてみる

2024/07/02に公開

Copilot+PCにはSnapdragon製の「NPU」が搭載されており、Gemma2を動かしたときに「NPU」が活用されているか見ていきます。

ただ、下記記事を拝見するに、Gemma2はGoogle CloudのTPU、NVIDIA A100、NVIDIA H100などで実行できるように設計されているようで、望み薄です。笑
https://www.itmedia.co.jp/news/articles/2406/28/news114.html


1.まずは、Gemma2を動かすためにOllamaをインストールします。下記サイトの「Download」をクリックします

2.今回Windows PCなので「Download for Windows (Preview)」をクリックします

3.ダウンロードされた「OllamaSetup.exe」を実行してインストールします

4.コマンドプロンプトを開きます
5.「ollama pull gemma2」を実行してGemma2をインストールします

ollama pull gemma2


6.「ollama run gemma2」でGemma2を起動します

ollama run gemma2


7.「how are you?」とGemma2に話しかけてみます


結果ですが、「CPU」と「GPU」で演算しているようで「NPU」は無風でした。。。

下記回答が返ってきましたが、生成に5分くらいかかりました。

望み薄でしたが、やはり「NPU」は活用されずでした。

Accenture Japan (有志)

Discussion