「RAGとLLM、ベクトル検索…次はどう活用する?」~【python】今週の人気記事TOP5(2025/11/02)
【2025/11/2】「RAGとLLM、ベクトル検索…次はどう活用する?」今週の人気記事TOP5(2025/11/02)
日本株3700社以上を分析。yfinance x「わが投資術」株式スクリーニングアプリを作った話(バイブコーディング)
フルスタックエンジニアのテストくんが、yfinanceとReactなどを活用し、日本株3700社以上を分析できるスクリーニングWebアプリ「yfinance-jp-screener」を開発。
JPX公式データから銘柄を自動取得し、財務指標によるスクリーニング、PBR等の可視化を行う。
GitHub Actionsでデータ収集を自動化、Dockerで簡単デプロイを実現。
レート制限を回避するため、データ収集を分割処理。
フロントエンドはReactで構築、CSVアップロード、フィルタリング機能を実装。
投資判断は自己責任。
LLMによる文単位抽出を高速・安価に行う- fast-bunkaiの活用
LLMによる文章抽出を高速化するため、fast-bunkaiでテキストを文単位に分割し、各文にIDを付与。LLMには指示文に対応するID範囲を出力させ、そのID範囲のテキストを抽出する手法を提案。この「文章ID範囲抽出」は、抽出対象の文章を直接出力させる従来手法と比較して、処理時間とLLMのトークン消費量を大幅に削減可能。検証では、3条文の抽出において抽出結果は完全に一致し、処理時間は平均で約40%短縮、トークン量も大幅に削減された。
Neo4jで始めるGraphRAG入門
この記事では、Neo4jでGraphRAGを実装する方法を解説。料理レシピデータを題材に、Neo4jへのデータ登録から、ベクトルインデックス作成、OpenAI embeddingsを利用したベクトルプロパティの保存までをPythonコードで紹介しています。
RAGの実装では、Text2CypherRetrieverによるグラフ検索、VectorRetrieverによるベクトル検索、VectorCypherRetrieverによるグラフ+ベクトル検索の3種類を実装。
最後に全文検索とのハイブリッド検索についても触れ、Neo4jの柔軟性をアピールしています。
MinIOとtool callingで実現する「動的な知識管理」RAGシステム
AIがチャットからアップロードされたファイルを自動で知識に取り込み、削除も可能な動的RAGシステムを構築。MinIOをローカルS3互換ストレージとして活用し、ファイル変更をWebhookで検知、LangChainのtool callingでAIがファイル操作ツールを自律的に実行する。これにより、リアルタイムな知識管理とAIアシスタントのような自然なファイル操作を実現。フロントエンドのUX設計、リアルタイム性、システム全体の統合設計の重要性を学んだ。
言葉をベクトル化して星にする【LogoStella】
生成AIの面白さを直感的に伝えるため、LLMの埋め込みモデルを活用し、ユーザーの投稿を意味ベクトル化して星として宇宙空間に配置する作品「LogoStella」を制作。parametricUMAPで次元削減し、初期学習データにはLLMで生成したテキストを使用。React Three Fiberで3D可視化し、「Mystic Geometry」をテーマに星の色分けや星座表現を追加。星図盤やプラネタリウム、3DゲームやVtuberライブでの活用に展望。
Discussion