こんにちは、Kaiです。
先週もメジャーAIサービスの大きな発表はなく、落ち着いていました。
Gemini1.5 ProがChatbot Arenaでトップになったという話もありましたが、体感としてはあまり……という印象です。
むしろ、最近はローカルLLMや社会実装など、「実際に使うには」という話題が増えてきているように感じます。
注意事項
- 先週収集したAIおよびWeb系の記事やポストが中心になります
- 私のアンテナに引っかかった順なので、多少古い日付のものを紹介する場合があります
- 業務状況次第でお休みしたり、掲載タイミングが変わったりします
特定AIサービス
Perplexity: Pages
Perplexityに、自動で情報をキュレーションしてくれる新機能が搭載。 しかもSEOにも強いらしい。これ膨大なコンテンツが生成されるだろうなぁ……。
eraser: Docs and Diagrams for Engineering Teams
AIで様々なエンジニアリングの図を作成可能。
シーケンス、フローチャート、ER図など。
少し使ってみたところ、確かにかなりすごい。一発で完全なものは出てきませんが、叩き台が一瞬で出てくるのはとてもいいです。
その他AI系話題
AI搭載エディタCursorの紹介と機械学習コンペでの使用レビュー
ずっと気になっているのですが、業務利用はちょっと難しいこともありまだ使ってません。
確かにコンペや趣味開発から始めるのはアリですね。
最近の7B小型日本語LLMはエージェントになれるのか？
ひと昔前は、ローカルで動くLLMは話にならないほど低性能でした。
最近は量子化や圧縮技術が進化し、7Bモデルでもそれっぽい動作をするようになっています。
ではそれを使ってエージェントモデルを作れるのか？という検証記事です。
実用にはまだ足りませんが、もう1，2歩のところまで到達している感じですね。
生成AIによる「慣用表現の『乗っ取り』」と、その根底にある別の問題と
ChatGPT前後で学術論文に使われる語彙が劇的に変わっており、その原因はChatGPTのヒトによるチューニング外注先のナイジェリアであるとのこと。
ナイジェリアのビジネス英語で頻出する単語に、世界全体の語彙が「乗っ取られて」いるという分析。
CyberAgent AI事業本部新卒研修「MLOps」の資料を公開します
全部読み切れてはいないものの、これだけの資料を公開してくださるのは素晴らしい。
もちろん、技術力、教育制度アピールの要素はありますが……。
Mamba-2
先週出て注目を集めたプレプリント論文です。
TransformerがSelf-Attentionによる二次関数的な計算コストなのに対し、「状態空間モデル」によって性能劣化なく線形な計算コストにできるとのこと。
概念的な数式を見る限り、RNNに回帰したように見えてしまうのですが、状態空間モデル理論により逐次計算ではなく並列計算ができるようです。
（著者による解説）
実務で生成AIサービスを開発してわかったこと
実務でやろうとすると行き当たる色々な問題を体験ベースで書いてくださってます。
私たちも割と行き当たる問題……。
ローカルLLMで試行錯誤してみた話
このあたり、Difyがローカルで使えるので割と解決できる部分もありそうです。
ChunkLlamaによる追加学習なしのLLMコンテキスト拡張を試す
Llama-3も、コンテクストを拡張するLlama3-gradientが出ていますし、こういった拡張技術も現在盛んに研究されています。
Hugging Face ZeroGPU のチュートリアル
HuggingFaceに月9ドル払うと、A100を最大120秒間使えるとのこと。
うーん？ColabのProの方がコードもいじれるしよくない？と思いますが手軽に推論するだけならいいのかな。
Google Colabで時系列基盤モデルを試す④：amazon chronos-t5
時系列予測は非常に難しい問題であり、LLM同様基盤モデルが提案されています。
HuggingFaceで使える4つのモデルを実際に試したまとめ記事です。
（最後のモデルはめちゃくちゃ性能がいいように見えますが、著者の方も指摘している通り元データがLeakしている可能性あり）
その他一般テック話題
ミニ脳16個入「バイオプロセッサ」
スイスのスタートアップからの論文。
ヒト脳の細胞構造体を組み合わせたバイオプロセッサにより、消費電力を従来のプロセッサの100万分の1に出来るとのこと。
そりゃ直接消費電力は抑えられるでしょうが、培地を常時交換しているのでトータルのエネルギーコストを考える必要があると思います。
株式会社ケアネットのエンジニアブログです。CareNetサービスの技術情報を中心に記事を投稿しております。 各記事の内容は個人の意見であり、企業を代表するものではございません。
Discussion