🌐

MixSeek Quant Insight - アルゴ量産から特徴量設計までをカバーするコンペ型AIエージェント

に公開

MixSeek Quant Insightとは

アルゴ量産から特徴量設計までをカバーするコンペ型AIエージェントMixSeek Quant Insightを先日オープンソースでリリースしました。
https://github.com/mixseek/mixseek-quant-insight

MixSeek Quant InsightはMixSeekのコンペ型アーキテクチャを活かし、アルゴ量産から特徴量設計、リスクシグナルまで金融時系列の分析に対応した拡張パッケージです。これまで私は2個のKaggleコンペの問題設計を担当してきましたが、そこで培ったノウハウを最大限詰め込んだパッケージになります。

https://www.kaggle.com/c/jpx-tokyo-stock-exchange-prediction
https://www.kaggle.com/competitions/mitsui-commodity-prediction-challenge

この記事では、MixSeek Quant Insightの仕組みを解説しながら、AIエージェントによるアルゴ量産の要となるアルファの自動探索をどのように行えばよいかをお伝えできればと思います。

MixSeekの基盤技術

MixSeekは、複数のAIエージェントチームを競わせることで、より良い回答を生成するための汎用AIエージェントフレームワークです。その最大の特徴は、Kaggleに代表されるデータ分析コンペティションプラットフォームのモデルを模倣していることにあります。

Mixseekでは、複数のAIエージェントチームが並列に動作し、それぞれが共通のタスクに対して回答を提出します。回答は評価モジュールによってスコアリングされ、リーダーボードにランキングが掲載されます。この評価結果に基づいて各チームにフィードバックが返され、他チームと競いながら回答を洗練させていきます。

Quant Insightは、このMixSeekの強力なコンペ型アーキテクチャを活用し、クオンツ業務にドメイン特化した拡張プラグインです。今回の事例ではAIエージェントチームが協力して、将来のリターンを予測するシグナル計算ロジックの探索・生成を自律的に行います。

MixSeek Quant Insightでできること

では、MixSeek Quant Insightで実際に何ができるのかを紹介していきます。

1. 任意の時系列データの分析

MixSeek Quant Insightでは、ご自身が持っている任意の時系列データを使って、株式やその他のアセットのデータ分析を自動で行うことができます。J-Quants APIから取得できるデータはもちろん、センチメントスコアやオルタナティブデータといったデータも入力可能です。

2. シグナル計算ロジックの量産

MixSeek Quant Insightでは、同じデータセットに対して多くのチームを並列に競わせることが可能です。各チームが分析を何度も繰り返した結果、渾身のロジックをリーダーボードに登録します。
その結果、リーダーボードには大量のシグナルとその評価値が掲載されることになります。これらのシグナルからスコアの高い有用なロジックを採用してもよいですし、個性的なシグナルがないか全体を眺めてみてもよいでしょう。

3. 実運用への転用

各チームで考案されたシグナル計算ロジックは、すべて所定のフォーマットにしたがったPython関数として提出されます。


def generate_signal(ohlcv: pl.DataFrame, additional_data: dict[str, pl.DataFrame]) -> pl.DataFrame:
    # 返り値のDataFrameはdatetime, symbol, signal列を含む
   ...

そのため、実運用時に手に入る最新のデータをこの関数に入力することで、同一のロジックに基づく正確なシグナルを出力することが可能です。

MixSeek Quant Insightのアーキテクチャ

MixSeek Quant Insightは、主にMixseekで実装されている拡張インターフェースを利用して実装されています。

メンバーエージェントの拡張

Mixseekは、チームに所属するメンバーエージェントを柔軟に拡張実装することができます。
MixSeek Quant Insightでは、ローカル環境に配置したデータソースにアクセス可能なPythonコード実行エージェントを作っています。

実装したカスタムエージェントは、メンバーエージェント設定のtomlファイルで指定します。

# member.toml

[agent]
type = "custom"
name = "train-analyzer"
model = "google-gla:gemini-2.5-flash"
description = "pythonを用いてtrainデータに対するデータ分析を行う"
temperature = 0.5

[agent.system_instruction]
text = "エージェントへの指示…"

[agent.plugin]
# 実装したエージェントを指定
path = "src/quant_insight/agents/local_code_executor/agent.py"
agent_class = "LocalCodeExecutorAgent"

[agent.metadata]
[agent.metadata.tool_settings.local_code_executor]
# エージェントごとにアクセスできるデータを制御可能
available_data_paths = [
    "data/inputs/ohlcv/train.parquet", 
    "data/inputs/master/train.parquet", 
    "data/inputs/returns/train.parquet"
]

[agent.metadata.tool_settings.local_code_executor.output_model]
# 構造化出力をサポート可能
module_path = "quant_insight.agents.local_code_executor.output_models"
class_name = "AnalyzerOutput"

評価指標の拡張

MixSeekでは、各エージェントチームの提出が評価・スコアリングされ、リーダーボードに掲載されます。この評価ロジックは拡張実装可能な設計になっています。
そこでMixSeek Quant Insightでは、提出されたシグナルを安定的に定量評価するためのロジックを実装しています。ここは重要なので、少し詳しく説明していきます。

評価の仕組み

シグナルを評価するうえで最も重要なポイントの一つとして、リークを防ぐことが挙げられます。エージェントが出力するシグナルが、実運用時に再現可能なロジックかどうかを判定するには、どうすればよいでしょうか。
MixSeek Quant Insightは、Kaggleのコンペティションで採用されているTimeseries APIにインスパイアされた仕組みを採用して、この問題を解決しています。

Kaggleでは、機械学習モデルの精度評価に使われるデータセットを参加者に全く見せないための仕組みとして、「コードコンペティション」という枠組みを採用しています。参加者は、手元で利用可能な学習用データの分析を行ったうえで、与えられた入力データから予測値を返す関数を定義し、その関数自体を提出します。
提出された関数は、Kaggleの環境ですべての秘匿された評価データに対して逐次的に実行され、スコアが計算されるようになっています。こうすることで、参加者は評価データに関する情報を一切知らないまま、モデルやロジックを提出することができます。
特に時系列データを予測するコンペティションでは、この評価用モジュールをTimeseries APIと呼ぶことが多いようです。簡単な概念図を書くとこんな感じです。

MixSeek Quant Insightでもこのような考えを取り入れ、以下のように適切な評価が行われる仕組みを構築しました。

  1. あらかじめデータを学習期間、評価期間に分割し、エージェントがアクセスできるデータと、最終評価に使われるデータを明確に分離する
  2. 各エージェントチームは、学習データのみにアクセスして分析を行う
  3. 分析完了後、シグナル計算ロジックがPython関数文字列として提出される
  4. 拡張実装した評価モジュールが、提出された関数と評価期間に対するバックテストを行い、スコアを計算する

評価式の定義

上述のバックテストの結果、評価期間全体にわたって、ユニバースに対するシグナルとリターンの組が得られます。これらから何らかの単一の評価値を計算する必要がありますが、Quant Insightでは順位相関シャープという指標を採用しています。これは実際のKaggleコンペでも採用した現在シグナルの性能を計測するうえではもっとも汎用的な評価関数と考えています。

この値を評価期間の時刻ごとにクロスセクショナルに計算していき、最終的にこの系列のシャープレシオを計算します。具体的には以下の手順を踏みます。

  1. 提出されたシグナル計算関数を、時点tにおける最新データを入力として実行
  2. 関数の出力と時点tにおける将来リターンとのユニバース内の順位相関を計算
  3. 1~2を評価期間全体にわたって繰り返す
  4. 得られた順位相関の系列に対し、シャープレシオ(平均 / 標準偏差)を計算

評価モジュールのカスタム実装

MixSeekでは、Evaluatorと呼ばれるコンポーネントが、各エージェントの提出を評価・スコアリングします。実際のスコアリングを行うロジックはMetricクラスとして分離されており、柔軟に差し替えられるような設計になっています。

Quant Insightでは、上述のバックテスト評価モジュールを拡張実装し、以下のようにEvaluatorの設定tomlで指定しています。

# evaluator.toml

[[metrics]]
name = "CorrelationSharpeRatio"
weight = 1.0 # metricを複数設定する場合のweight。ここでは単一指標

[custom_metrics]
CorrelationSharpeRatio = { 
	module = "quant_insight.evaluator.correlation_sharpe_ratio",
    class = "CorrelationSharpeRatio" 
}

入力データのビルド

分析対象となるデータの取得やデータ分割は、MixSeek Quant Insight独自の機能として実装しています。デフォルトの実装として、J-Quants APIから株価と銘柄情報のデータを取得する機能を提供しています。

データの取得からデータ分割までの処理は、以下のように quant-insight コマンドで行うことができます。

quant-insight data fetch-jquants --plan free --universe prime # jquants apiからデータを取得
quant-insight data build-returns # リターン(目的変数)をビルド
quant-insight data split # データを学習/評価期間に分割

MixSeek Quant Insightの使い方・カスタマイズ方法

ここからは、MixSeek Quant Insightの主な使い方を紹介していきます。
公開されているexampleだけでも十分楽しく遊んでいただけると思いますが、ご自身の興味に合わせてカスタマイズしてみてはいかがでしょうか。

基本的な使い方

以下のコマンドを叩くだけで、コンペティションを実行できます。

mixseek exec "株価リターンを予測する面白いシグナル関数を生成してください" 
    --config $MIXSEEK_WORKSPACE/configs/orchestrator.toml

第一引数は一例で、自由に変更可能です。いろいろと試してみてください。

※このコマンドを実行するためにいくつか環境のセットアップが必要です。リポジトリのREADMEをご覧ください。

チームのカスタマイズ

コンペティションに参加するチーム構成を自由にカスタマイズできます。
例えば、以下のような項目を設定することができます。

  • チーム数の変更
  • チームメンバー構成の変更
  • 各エージェントのシステムプロンプト
  • 各エージェントのモデル

チーム数の変更

オーケストレーション設定で複数のチームを入れ替えることができます。

# orchestrator.toml

[orchestrator]
min_rounds = 3
max_rounds = 5
...

# チームを追加
[[orchestrator.teams]]
config = "configs/agents/teams/team_gemini.toml"

[[orchestrator.teams]]
config = "configs/agents/teams/team_openai.toml"

[[orchestrator.teams]]
config = "configs/agents/teams/team_claude.toml"

チームメンバー構成の変更

各チームの設定ファイルで所属メンバーを定義します。

# team.toml

[team]
team_id = "my-custom-team"
team_name = "My Custom Team"
...

[[team.members]]
config = "configs/agents/members/train_analyzer.toml"

[[team.members]]
config = "configs/agents/members/submission_creator.toml"

システムプロンプト・モデルなどの変更

各チームのリーダー、メンバーそれぞれのモデルやシステムプロンプト、パラメータを変更できます。なお、MixseekやQuant Insightでは、いわゆるシステムプロンプトのことを system_instruction と呼んでいます。

# team.toml

[team]
team_id = "my-custom-team"
team_name = "My Custom Team"

[team.leader]
model = "google-gla:gemini-3-flash-preview"
temperature = 1.0
system_instruction = """
あなたはファンダメンタルズを重視するアナリストです。…
"""
...
# member.toml

[agent]
model = "openai:gpt-5.2"
temperature = 0.0
...

[agent.system_instruction]
text = """
あなたは慎重派なデータサイエンティストです。
...
"""
...
# 対応可能なモデル例

model = "google-gla:gemini-2.5-flash"    # Gemini 2.4
model = "google-gla:gemini-3-flash-preview"    # Gemini 3.0
model = "openai:gpt-5.2"                 # GPT
model = "anthropic:claude-sonnet-4-5"    # Claude
model = "grok:grok-4-1-fast-reasoning"   # Grok

データソースの追加

分析したい特定の時系列データがある場合、以下に示すステップで分析対象データとして簡単に登録できます。

  1. データをparquetまたはcsv形式で $MIXSEEK_WORKSPACE/data/inputs/raw/{file_name}.{parquet / csv} に配置
  2. コンペティション設定tomlにデータセットを登録
[[competition.data]]
name = "{file_name}"
datetime_column = "datetime" # 時刻列のカラム名
  1. quant-insight data split コマンドを実行

評価指標のさらなるカスタマイズ

MixSeek Quant Insightで採用している順位相関シャープ以外にも、独自の評価ロジックをカスタム実装したい場合があるかもしれません。例えば、ロジックが個性的で面白いかどうかを、定性的にLLMに数値評価させる、という指標を考えることができます。

このような場合は、MixseekのMetricクラスを継承して拡張実装し、設定ファイルで指定することができます。

from mixseek.evaluator.metrics.base import BaseMetric
from mixseek.models.evaluation_result import MetricScore

class MyCustomMetric(BaseMetric):
    async def evaluate(
        self,
        user_query: str,
        submission: str,
        **kwargs: object,
    ) -> MetricScore:
        # 独自の評価ロジック
    	...

evaluator.tomlで実装したカスタムメトリックを指定します。

# evaluator.toml

[[metrics]]
name = "MyCustomMetric"
weight = 1.0

[custom_metrics]
MyCustomMetric = { 
	module = "path.to.your.module", 
    class = "MyCustomMetric"
}

5. マケデコハッカソンのお知らせ

MixSeek Quant Insightで分析してみたいテーマやデータは思いついたでしょうか。AIエージェントチームが自律的に競い合い、アルファをあぶり出していく様子をぜひ体感してみてください。そして、もしあそんでみておもしろい結果が出た人はぜひマケデコハッカソンでの発表もご検討いただければ幸いです。

https://mkdeco.connpass.com/event/384016/

Discussion