こんにちは、Kaiです。
先週はもうLlama3で持ちきりでしたね。
実装側としては毎週デカい隕石が落ちて来てる気分です。
それではいってみましょう。
注意事項
- 先週収集したAIおよびWeb系の記事やポストが中心になります
- 私のアンテナに引っかかった順なので、多少古い日付のものを紹介する場合があります
- 業務状況次第でお休みしたり、掲載タイミングが変わったりします
特定AIサービス
Llama3
8Bと70Bパラメータが公開済み。400Bは現在トレーニング中とのこと。
ベンチマークによっては、GPT-4やClaude3に近い性能も出ているようです。
さらにOSSなのでファインチューニングできるのも強い。
※日本語会話でファインチューニングしたものも出たようです
Llama3 + Groq
Groqは、LLMに特化した計算アーキテクチャであるLPUを開発しているスタートアップです。
このGroq上でLlama3を動かしている様子ですが、生成速度があまりにも異次元です。
300tokens/s弱で出力されており、これは新書一冊を数分で書けてしまう世界です。
Bedrock: Anthropic’s Claude 3 Opus model is now available on Amazon Bedrock
BedrockにClaude3 Opusが来ました！
さすがにコストは高いですが、手軽に他のモデルと切り替えながら使えるのはとても便利。
Bedrock: Chat with your document data using the knowledge base
ナレッジベースを作成しなくても、直接Bedrockにドキュメントを突っ込んでチャット可能に。
こうなってくるともう何でもありですね。
OpenAI: Batch API FAQ
OpenAIにバッチ実行が来たようです。
最大24時間待たされる代わりに、半額で利用できる模様。
OpenAI: ChatGPT Assistants API の使い方
4月18日にAssistants APIがv2となり、様々な機能が追加されました。
1万ファイルをアシスタント用のデータとして利用させることができ、ベクトル化も自動で
行えるもよう。
ファインチューニングしたモデルも利用可能なので、全て使いこなせば組織で必要とされる
ユースケースはほぼ網羅できてしまうのではないかと。
Cohere Compass - 新マルチアスペクト埋め込みモデル
Cohereは先日Command R+を発表したカナダのスタートアップです。
シンプルな埋め込みによるベクトル化は文脈を失わせてしまうのに対して、
Cohereが提案するCompassは文脈情報（マルチアスペクトデータ）を保持したままベクトル化
できるとのことです。
例としては、電子メールをベクトル化する際、送信者や送信時間などの情報を文脈として
ベクトル内に適切に埋め込めるというものが挙げられています。
その他AI系話題
生成AIによる自動評価（LLM-as-a-Judge）のメリットと最新手法をご紹介
生成AIの出力を生成AIで評価するという問題は、ちょうど当社でもホットな内容でした。
手法と特徴を整理してくれ、ライブラリも紹介しているのでありがたいです。
Kotoba-Whisper-v0.1
高速版日本語特化Whisper（商用可）が公開されたそうです。
精度もさることながら、高速性はLarge-v3から6.3倍とかなりのものです。
効果音生成AI「OptimizerAI」が1.0になったようです
動画作成時などに使えそうですが、クリーンデータなのかちょっと不安ですね。
ここがポイント！RAGを活用した生成AIボットの検索精度向上について
コンテクストウィンドウの拡大によってチャンク分割の重要性は下がっていますが、
実際に様々な手法のバリエーションを試した結果を提示しているので、今後も参考になりそうです。
LLM API Providers Leaderboard
とても分かりやすいLLM APIのリーダーボード。
ここでもやはり、Llama3+Groqスループットのが異常さが際立ってます。
「AI事業者ガイドライン（第1.0版）」を取りまとめました
経産省より。
基本的なことばかりとはいえ、AIを事業で取り扱う際には一読すべきものです。
生成AIによるプロダクトと生産性向上の舞台裏
メルカリの事例。
AIを社内に根付かせ、様々に活用する試みは今まさに当社でOngoingなので参考になります。
コサイン類似度のいろんな書き方
RAGとかやってるとしょっちゅう使う一方、スループットを気にした評価はしてませんでした。
結構差が出るものですね。
PandasからPolarsへ移行した方がいいのか
Pandasに慣れきっていますが、ここまで速度差があるとスイッチングコストを考慮しても
やるべきな気がしてきます……。
WEB開発系話題
自動生成を活用した、運用保守コストを抑える Error/Alert/Runbook の一元集約管理
当社でも、アラートになるべく周辺情報を含ませてNext Actionを取りやすくする試みは
やっていますが、ここまで徹底してはいませんでした。
VS CodeでAWSを操作しよう
全サービスに対応しているわけではないものの便利。
その他一般テック話題
「PuTTY」に秘密鍵が復元できてしまう深刻な脆弱性 ～「WinSCP」など他ツールにも影響
最新版ではFIXされており、様々なアプリへのバンドルがあるため注意とのこと。
株式会社ケアネットのエンジニアブログです。CareNetサービスの技術情報を中心に記事を投稿しております。 各記事の内容は個人の意見であり、企業を代表するものではございません。
Discussion