M1MacでOllamaを試したら爆速で驚いた
はじめに
いつもNVIDIAが載っているWindowsで楽しくLLMを動かしたり生成AIライフを楽しんでいますが、今回はMacOSでOllamaを入れてLlama3を動かしてみました。
スペック：
Apple M1 Pro(16 GB)
少し前だとCUDAのないMacでは推論は難しい感じだったと思いますが、今ではOllamaのおかげでMacでもLLMが動くと口コミを見かけるようになりました。
ずっと気になっていたのでついに私のM1 Macでも動くかどうかやってみました！
結論、爆速で推論できていたのでとても驚きました。OSS開発に感謝です！
Ollamaとは
OllamaとはローカルでLLMを動かすことができるアプリケーションです。
以下からダウンロードできます。
MacOSとLinuxで使うことができます。Windowsもプレビュー版があるみたいです。
#いざ推論
ダウロードができたらシェルから動かしていきましょう。
Macのターミナルで実行してみました。
% ollama run llama3
初回はllama3をダウンロードするのに時間がかかりますが、２回目以降はすぐに推論できるようです。
試しに英語で話しかけてみました。
>>> how can i grow my youtube?
Growing a YouTube channel requires consistent effort, creativity, and
engagement. Here are some actionable tips to help you grow your YouTube
channel:
1. **Define your niche**: Focus on a specific topic or theme that you're
passionate about and have expertise in. This will attract a targeted
audience interested in the same thing.
2. **Create high-quality content**: Invest time and effort into producing
engaging, informative, and entertaining videos. Make sure they are
well-produced, with good sound quality and visuals.
3. **Optimize your videos for search**: Use relevant keywords in your
video titles, descriptions, and tags to help people find your content when
searching on YouTube or Google.
4. **Develop a consistent schedule**: Regularly upload videos to keep your
audience engaged and coming back for more. Consistency is key to building
an audience.
5. **Engage with your audience**: Respond to comments, answer questions,
and interact with your viewers on social media platforms like Twitter,
Facebook, or Instagram.
6. **Promote your channel**: Share your videos on other platforms, such as
LinkedIn, Reddit, or forums related to your niche. Collaborate with other
creators or influencers in your field.
7. **Analyze and adjust**: Use YouTube Analytics to track your
performance, understand what works, and make data-driven decisions to
improve your content and strategy.
8. **Offer value**: Make sure your videos provide valuable information,
insights, or entertainment that resonates with your audience. Focus on solving problems or
addressing pain points.
9. **Be authentic and unique**: Bring your personality, expertise, and perspective to your content.
Avoid copying others; instead, find a way to stand out and be memorable.
10. **Stay up-to-date with the latest trends and best practices**: Attend YouTube creator events,
participate in online communities, and follow industry leaders to stay informed about the latest
strategies and algorithm updates.
Additionally, consider these advanced tips:
1. **Use eye-catching thumbnails**: Craft attention-grabbing thumbnail images that accurately
represent your content and entice viewers to click.
2. **Write compelling titles and descriptions**: Craft engaging titles and descriptions that
accurately summarize your video's content and appeal to your target audience.
3. **Leverage YouTube's features**: Use cards, end screens, and annotations to add interactive
elements to your videos and encourage engagement.
4. **Run contests or giveaways**: Host contests, Q&A sessions, or giveaways to incentivize viewers
to engage with your channel and share their experiences.
5. **Collaborate with other creators**: Partner with other YouTubers or influencers in your niche to
reach new audiences and create fresh content.
6. **Offer exclusive content**: Provide incentives for viewers to subscribe to your channel by
offering exclusive content, such as behind-the-scenes footage or exclusive tips.
7. **Utilize YouTube's monetization options**: Enable monetization on your videos and explore
additional revenue streams like sponsorships, merchandise sales, or affiliate marketing.
Remember, growing a YouTube channel takes time, effort, and patience. Focus on creating high-quality
content that resonates with your audience, and continuously adapt to changes in the platform and
your niche.
生成速度の速さと文量に驚きました。Llama3は英語での推論の精度の高さが話題になっていたのが実感できました。
rinnna社のLlama 3の日本語継続事前学習モデル「Llama 3 Youko 8B」も5月に公開されたようなのでまた試してみたいです！
以下にOllamaのサイトに載っていないモデルの使い方も書かれているのでこちらを参考にできそうですね。
まとめ
MacOSでのOllamaの推論の速度には驚きました。
ちゃんとMacでもLLMが動くんだ〜という感動が起こりました。
これからMacでもLLMを動かして色々試して行きたいと思います！
API化もできてAITuberにも使えそうな感じなのでぜひまたのお楽しみにやってみたいですね。
こんな感じでXでAIやAITuberの開発について発信しているのでぜひフォローしてもらえると励みになります！
あ、もちろん、AIギャルマーケターゆうちゅすのチャンネル登録もお願いしまっちょ💪('ω'💪)
Discussion