Open9
ローカルLLMって実際どうなの？自宅PCで動かすまでの記録
tapoh🥕概要
ローカルLLMがどの程度使えるのか試してみた。
DeepSeek R1 + Ollama の構成で動作確認。
結論
- 普通に使えそう
- 速度は約 30 TPS
- 回答の精度はまだ不明
環境
OS: Windows 11
CPU: 12th Gen Intel(R) Core(TM) i5-12600K 3.69 GHz
Memory: 64.0 GB
GPU: NVIDIA GeForce RTX 3080 Ti (12GB)
モデルを選ぶ
aiderがベンチマークを出してくれているので参考にする
数が多くて全部見切れない。
ダウンロードできるモデルが簡単に見つかったDeepSeek R1を選択
tapoh🥕フォーマットなど選択
軽く調べた感じ日本語用にチューニングされたモデルがあるらしい
gguf形式のものを使わせていただく
tapoh🥕バリエーションを選択
選定基準としてGPUのVRAM 12GBに乗りそうかどうかで判断した。
パラメータ数は14B, 32Bがあった。32Bはサイズが大きいので14Bを選択。その中でさらに、Q3_K_L, Q4_K_M, Q5_K_Mのようにバリエーションがある。これらは、量子化の度合いなどが違いモデルのサイズや制度が異なる。Q5, Q4などの数字がパラメータの表現に使うビット数を表しており、数値が小さいほど制度が悪くファイルサイズが小さくなる。K_Mの部分は量子化の方式を表しているらしい。
現時点で詳細な違いには興味がないのでファイルサイズが10GB程度でよさそうなQ4_K_Mを使う
tapoh🥕実行環境を選択
Ollama, llama.cpp, LMStudio, Janなどが選択肢としてある。
今回はOllamaで動かす。
tapoh🥕実行
ダウンロード
インストール
GUIからインストール先が選べないので、PowerShellを開きインストーラを実行する。
.\OllamaSetup.exe /DIR="j:/ollama"
実行
モデルのページの右上にUse This modelとあるのでその中からOllamaを選択する。
コマンドをコピーして実行
ollama run hf.co/mmnga/cyberagent-DeepSeek-R1-Distill-Qwen-14B-Japanese-gguf:Q4_K_M
ダウンロードも自動でしてくれる
PS J:\ollama> .\ollama.exe run hf.co/mmnga/cyberagent-DeepSeek-R1-Distill-Qwen-14B-Japanese-gguf:Q4_K_M
pulling manifest
pulling 2f3f35d28b8d... 24% ▕████████████████████████ ▏ 2.5 GB/ 10 GB 2.8 MB/s 48m1s
ollama.exe run hf.co/mmnga/cyberagent-DeepSeek-R1-Distill-Qwen-14B-Japanese-gguf:Q4_K_M --verbose
>>> 適当な文章を1000文字程度書いてください
<think>
まず、ユーザーが日本語で深く考えてほしいと言っているので、丁寧に応答する必要があります。適切な文章の要件は1000文字程度なので、内容は十分に詳細でありながらも冗長にならないように配慮します。
次に、どのようなテーマを選ぶか考えます。ユーザーが特に指定していないので、一般的で興味深いトピックを選択します。例えば、現代社会における「つながり」の重要性について触れるのも良いかもしれません。SNSやテクノロジーの発展は人々をより繋げていますが、逆に孤独を感じる人もいるという両面から考察するといいでしょう。
構成を考えます。導入部で現代社会の状況を説明し、次に課題として「つながり」の質的低下や表面的な交流の増加を指摘します。その後、解決策としてオフラインでの関わり方の重要性やコミュニティ作りについて論じます。結びでは個人と社会の両面からの取り組みが必要だとまとめます。
キーワードを確認し、自然な流れになるように各段落間のつながりを考えます。具体例を入れることで説得力を持たせ、読者の共感を得られるようにします。例えば、SNSでのやりとりと実際に顔を合わせる機会の減少を比較したり、地域活動への参加がもたらす効果などを具体的に挙げると良いでしょう。
最後に全体の文字数をチェックし、1000字近くになるように調整します。冗長な表現を避けつつ、必要な情報を過不足なく盛り込むことがポイントです。また、専門用語は控えめにして、一般読者にも分かりやすい表現を心がけます。
</think>
現代社会において「つながり」への渇望は強まる一方だが、その質的変容は深刻な課題となっている。デジタル技術の進展により物理的な距離を超えた接点が増えた反面、意味ある関係性の構築が困難になっている。SNS上で数百件もの「いいね」を得ても心からのつながりを感じられない実態は、近年増加する孤独感を象徴している。
1. **デジタル化による交流の空虚化**
テクノロジーが生んだ双方向性は表面的な相互作用を促進した。職場でメールではなくチャットを使うことで「気まぐれなやりとり」が増え、丁寧な返信や深い議論の機会が減退している。特に若年層では、メッセージングアプリでの短いやり取りに慣れてしまい、長文を書く能力そのものが失われつつある。
2. **コミュニティ形成における課題**
地域活動の衰退と並行して、オンラインコミュニティが複雑な構造を持ち始める。同じ趣味を持つ人々が集まる場は確かに存在するものの、メンバー間で共通した価値観や問題意識がないため、結束力に欠けることが多い。これが結果として表面的な喧噪を生み出し、実際の連帯感形成が困難になる。
3. **新たなつながりの可能性**
この課題を打破するには「場」の再発見が不可欠だ。オフライン空間で行われる創造的な活動（アートワークショップなど）は参加者間で感情や思考を共有し、物理的反応（笑顔・感動の声）を通じて相互理解を深める機会となる。例えば「共に作る」という行為が、単なる趣味を超え「共同制作」体験として価値を生む。
4. **教育現場における変革**
学校教育では「協働学習」が推進されているが、ただのグループワーク化ではなく、創造的活動を取り入れることが重要だ。陶芸やダンスレッスンなど身体を使った経験を通じて、言葉以外でのコミュニケーション力を養う授業設計が求められる。これによりデジタルネイティブ世代でも多様な関係性構築のスキルを獲得できる。
5. **持続可能なつながりの基盤**
個人的なつながりと社会的大きな流れの両輪が必要だ。小規模コミュニティ（ブロック協定など）での相互扶助活動に加え、地域課題解決に向けた共同プロジェクトの企画を通じて、共感に基づく絆を形成する必要がある。企業も従業員の創造性発揮を支援するため、社内アートラボなどの施設整備が効果的と言える。
このように現代社会では技術革新が新たなつながりの形を創出しつつあるものの、その質を担保するには「場」への投資と人間らしい相互作用の再評価が必要だ。個人的な満足と社会的な協調性の両輪で持続可能な関係性を構築するためには、テクノロジーとアナログな経験の融合が不可欠である。
total duration: 38.6098724s
load duration: 11.9282ms
prompt eval count: 16 token(s)
prompt eval duration: 536.8922ms
prompt eval rate: 29.80 tokens/s
eval count: 1124 token(s)
eval duration: 38.061052s
eval rate: 29.53 tokens/s
tapoh🥕ちなみに、Q5_K_Mの場合9.79 tokens/sとなり体感遅い。
明らかにGPU使用率が低いですね。
total duration: 2m6.1748202s
load duration: 11.6169ms
prompt eval count: 38 token(s)
prompt eval duration: 624.741ms
prompt eval rate: 60.83 tokens/s
eval count: 1229 token(s)
eval duration: 2m5.536918s
eval rate: 9.79 tokens/s
