こんにちは、Kaiです。
o1、来ましたね。Googleも次のモデルを準備しているという噂があるようです。
しかし、o1レベルになると人間の能力が追い付かず、その領域の専門家でなければ出力を検証できない問題が既に生じているとか。
また、サム氏の発言や後述の米国議会公聴会の内容にもとづいて、o1レベルのAIにより開発が加速しておりAGIは既に実現が確実視されているという見方もあるようです。
果たして人類はAGI後にどのような社会を迎えるのでしょうか。
では今週のトピックスです。
注意事項
- 直近収集したAIおよびWeb系の記事やポストが中心になります
- 私のアンテナに引っかかった順なので、多少古い日付のものを紹介する場合があります
- 業務状況次第でお休みしたり、掲載タイミングが変わったりします
Big Tech AIサービス
OpenAI: o1
最近はこの話題ですね。博士以上の専門性を持った回答を行うことができるとのこと。ただ、一般的な文系タスクや汎用タスクではGPT-4oの方が適しているそうで、科学的に高度な思考を必要とするタスクに向いているそうです。また、「o1はGPTではない」というOpenAIからの発言もあり、新しいアーキテクチャの可能性もあります。
特に注目すべきなのは、以下の図の通り、従来知られていた「学習に関するスケーリング則」に加えて「推論に関するスケーリング則」が提唱されていることでしょう。これは、学習に資源を投じるほど性能が向上するのと同様、推論に資源を投じるほど性能が向上する、という法則です。
MS Copilot: The next phase of Microsoft 365 Copilot innovation
一方、MSは365への次世代AI統合を発表。AIに指令を与えると自動的に最適な社内リソースを検索してパワーポイントを組み立てていく動画などは、ホワイトカラーの仕事内容に大きなインパクトを予感させます。
Genspark: Introducing Genspark Autopilot Agent
Perplexity超えと話題になっていたGensparkから、自動調査エージェントが登場。評判を見ていると賛否両論ですが、「クロスチェック」に特化した使い方が推奨されているようです。事例を見ても、何かを調査させるというよりも、ある仮説に対するファクトチェック的アプローチが多いですね。
Qwen2.5
13モデルが一斉にリリースされました。ベンチスコアはいいものの、日本語の使用感はどうなんでしょうね。
その他AI系話題
RAGで文書検索の精度を上げるには、複数の埋め込みモデルを使う
RAG手法の一つ、「RouterRetriever」論文の解説です。分野に特化した埋め込みモデルを用意し、どのモデルを使うべきかを動的に選択する仕組みが提案されています。
約1720億パラメータ（GPT-3級）の大規模言語モデルのフルスクラッチ学習を行い、プレビュー版「LLM-jp-3 172B beta1」を公開
国立情報学研究所 (NII）からの国産モデルです。学習データも全てオープンとしている世界最大のモデルとのこと。
医薬品検索にベクトル検索を導入したら、デフォで検索ニーズをほぼ満たせそうだった話
めちゃくちゃ参考になりました。略語や剤形までベクトル検索で引き当てられるのですね。Qdrant使ったことないですが便利そう。
米国議会の公聴会で、AGIは最短1-3年後と想定され、社会は準備が出来ていないという発言
最初の記事は全文起こしなので、動画の方が良さそうです。元OpenAI取締役の発言なので、注目されているようです。 （動画）
[2024/09/18]推薦・機械学習勉強会
定例開催されている勉強会の記事シェアリンクです。3件ありますが、いずれも面白い記事でした。
「深層学習の原理に迫る 数学の挑戦」 #書籍紹介
書籍の概要をまとめていますが、普通にこれを読むだけでも勉強になります。本も良さそう。
RAGの処理で、リランクとベクトル検索でできることの違いを検証／解説してみる
RAGでは併用するのがもう定説、みたいになっていますが、実際にサンプルデータで分かりやすく検証した例です。前述の医薬品検索ではベクトル検索が無双していましたが、自然言語の場合は文脈によって解釈が異なる場合があるので、リランク必須ですね。
リーガルテックにおける検索・推薦技術
法務文書という特殊領域で検索・推薦をどう実現するかというお話。契約書の親子関係を考慮したり、参考にすべき法文を推薦するなど、法務に特化したノウハウの一端が紹介されています。
WEB開発系話題
メールはツラいよ！！波乱のメールサーバAWS移行を振り返ってみる
オンプレの環境をAWSに移行する際、GIPを移せなかったためIPレピュテーションを少しずつ構築しながら移行した、という事例です。ブロックされたトラブル事例の回避策などとても参考になります。
新規サービス開発で起こったインフラ移行の舞台裏
こちらはAzureからGoogle Cloudへの移行。ここまで情報出しちゃっていいんですか？というくらい詳しく書かれています。
目的別データベースの実践: PostgreSQL 行レベルセキュリティと DynamoDB Outboxパターン
医療機関向けクラウドという側面で、セキュリティのためにPostgreSQL、認証のためにDynamoDBなど、非機能要件のためにDBの使い分けをしているという事例です。
その他一般テック話題
テキストエディタをフルスクラッチで書いてみた
vimでは？と思ったら最初に書いてありました。
renovateとDependabotの連携による脆弱性管理
ライブラリの脆弱性対応パッチを検出し、PR作成までを一貫で自動的に行う事例。ちょっと試してみたい。
インデックスとは何？MySQL(InnoDB)とPostgreSQLのインデックスの違いとは？調べてみました
探索木は知っていましたが、MySQLとPostgreSQLの内部実装までは知りませんでした。勉強になります。
株式会社ケアネットのエンジニアブログです。CareNetサービスの技術情報を中心に記事を投稿しております。 各記事の内容は個人の意見であり、企業を代表するものではございません。
Discussion