deepseekをローカルで試して比較してみる

はじめに

生成aiでの入力データは学習に使われる可能性があるので機密データやコードは入力しない方がいいと言われます。
そこで、モデルが軽量でオープンソースなことで話題となっているdeepseekが出たのでローカルで試しに動かしてみました。

動かし方

ollamaをインストールします。
https://ollama.com/

yuuuu280@mac ~ % ollama -v                
ollama version is 0.5.7

あとは
ollama run モデル名で動かせます。1行もコード書かず試せるのはすごい。

ollama run deepseek-r1:1.5b

r1各サイズでの回答

もちろん生成aiは1回1回で同じ質問をしても回答が変わりますが、サンプルとして出してみました。

1.5Bでの回答

結局焼肉はタンが一番美味しいですか？

<think>

</think>

结局焼肉并不是 everythin g 都最好，但如果你喜欢味道鲜美、口感独特，结局煨肉无疑是个不错的选择。如
果你是饮食新手，可以从一些经典的牛肉汤或炖肉开始，慢慢尝试不同的搭配和烹饪方法，这样不仅能享受美
味，还能培养你的烹饪技巧哦！

日本語で答えて

<think>

</think>

お以内、^\w^ は^\n^を separable と 言います。日本語の回答は^\boxed{回答}\nと separable です。

\boxed{答案}

7Bでの回答

結局焼肉はタンが一番美味しいですか？

<think>

</think>

结局、焼肉が一番美味しい place зависит Mr.

8Bでの回答

結局焼肉はタンが一番美味しいですか？

<think>
Okay, so the user is asking whether the ending part of a cow (the parts near the tail) are the
most tasty in Japanese BBQ beef. I know that in Japan, they have a specific term for this,
which is "kurobata" or "akabuta." These terms refer to the beef from the hindquarters or the
lower part, which are known for their high fat content.

I should explain that these parts become very marbled and tender when cooked. The fat melts
during grilling, making the meat juicy and flavorful. It's important to mention that this makes
the kurobata especially popular in dishes like yakiniku.

Also, I should note that while many people prefer kurobata for its taste and texture,
preferences can vary. Some might like the mouthfeel of other cuts, but for those who enjoy
rich, fatty meat, kurobata is a top choice.

I need to keep this explanation clear and straightforward, avoiding any technical jargon. Just
make sure the user understands why kurobata is considered so tasty in Japanese BBQ.
</think>

結局、焼肉の場合、特に牛肉の後方部位（タンの部分）は、脂が含まれているため、火照りして油が融け、
肉が柔らかく味わいになるということでいます。these parts are called "kurobata" or "akabuta," and
they are known for their high fat content, which makes them flavorful when grilled.

However, whether the ending part is the most delicious depends on personal preference. Some
people love the rich, fatty taste of kurobata, while others might prefer leaner cuts. So, it
really varies from person to person!

14Bでの回答

結局焼肉はタンが一番美味しいですか？

<think>
Alright, let's see. The user has been asking about whether the best part of grilled meat is the
tendon. I've already provided a response in Japanese, explaining that it's subjective and
highlighting both the positives and negatives of the tendon.

Now, they're repeating the same question again. Maybe they didn't fully agree with my previous
answer or want more emphasis on their perspective. Alternatively, they might be seeking
confirmation or a stronger opinion.

I need to address their persistence without being redundant. Perhaps by reaffirming that it's
subjective but also acknowledging that many people do find tendon delicious, especially when
cooked right.

I should keep the tone friendly and informative, using emojis to make it engaging. It's
important to validate their preference while explaining why others might feel differently.
</think>

焼肉の最良部位は⼈によって好みが⼤きく異なりますが、タン（腱）が⼀番おいしいと思う⼈も多いです。
タンは⾷感と⾵味が⼀⽸⼆⽸なく、特に⾮常にジューシーで噛めば噛むほど⾷⽣きてくる⾵味が特⻑です。
⼀⽅で、タン以外にも肋⾲や⽚身など⾊々な部位が⼈気で、それぞれに⼀⾔では⾔えないくらい⽴った⾵味
を持っています。なので、結局は⼈の好みや食べ⽅にもよりますが、タンが⼤好きな⼈にとっては⼀番おい
しい部位かもしれません！

1.5B~8Bは言語があべこべ、文脈がおかしい回答で返ってくるので実際に使うとなると14B~がいいかなと思いました。
M3の16GBだと32GBがかなり重かったので14GBがちょうど良いです。

より高精度を求めたりv3を使う場合は400GB以上のモデルをダウンロードする必要があるのですが、それはローカルでなくwebの方で実行すれば良いかと。

web uiで実行できる

このコマンドを入力後、localhost:3000をひらけばchatGPT、deepseekのような画面でダウンロードしたモデルとの対話ができます。
このuiで実行してみると、レスポンスの遅さが目立ったので普段使いを考えるとあまり実用的ではないかなと思いました。

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v ollama-webui:/app/backend/data --name ollama-webui --restart always ghcr.io/ollama-webui/ollama-webui:main

お片付け

ダウンロードしたモデルがpcの容量をひっ迫することになるので使わないものは削除します。

yuuuu280@mac ~ % ollama list
NAME                ID              SIZE      MODIFIED       
deepseek-r1:8b      28f8fd6cdc67    4.9 GB    4 minutes ago     
deepseek-r1:7b      0a8c26691023    4.7 GB    12 minutes ago    
deepseek-r1:1.5b    a42b25d8c10a    1.1 GB    17 minutes ago    
deepseek-r1:14b     ea35dfe18182    9.0 GB    26 minutes ago

yuuuu280@mac ~ % ollama rm deepseek-r1:1.5b
deleted 'deepseek-r1:1.5b'