オグリキャップ（欧字名:Oguri Cap、1985年3月27日 - 2010年7月3日）は、日本の競走馬、種牡馬[1]。

1987年5月に岐阜県の地方競馬・笠松競馬場でデビュー。8連勝、重賞5勝を含む12戦10勝を記録した後、1988年1月に中央競馬へ移籍し、重賞12勝（うちGI4勝）を記録した。1988年度のJRA賞最優秀4歳牡馬[† 1]、1989年度のJRA賞特別賞[† 1]、1990年度のJRA賞最優秀5歳以上牡馬および年度代表馬[† 1]。1991年、JRA顕彰馬に選出。愛称は「オグリ」「芦毛の怪物」など多数。「スーパー・スター」[2]と評された。

中央競馬時代はスーパークリーク、イナリワンの二頭とともに「平成三強」と総称され、自身と騎手である武豊の活躍を中心として起こった第二次競馬ブーム期において[3]、第一次競馬ブームの立役者とされるハイセイコーに比肩するとも評される高い人気を得た[4]。その人気は競馬ファンのみならず一般の大衆にも波及し、社会現象を巻き起こした。日本競馬史上において、特に人気を博した競走馬の一頭である。

競走馬引退後は北海道新冠町の優駿スタリオンステーションで種牡馬となったが、産駒から中央競馬の重賞優勝馬を出すことができず、2007年に種牡馬を引退。種牡馬引退後は同施設で功労馬として繋養されていたが、2010年7月3日に右後肢脛骨を骨折し、安楽死の処置が執られた。

8連勝、重賞5勝を含む12戦10勝を記録した後、1988年1月に中央競馬へ移籍し、重賞12勝（うちGI4勝）を記録した。1988年度のJRA賞最優秀4歳牡馬[† 1]、1989年度のJRA賞特別賞[† 1]、1990年度のJRA賞最優秀5歳以上牡馬および年度代表馬[† 1]。

中央競馬時代はスーパークリーク、イナリワンの二頭とともに「平成三強」と総称され、自身と騎手である武豊の活躍を中心として起こった第二次競馬ブーム期において[3]、第一次競馬ブームの立役者とされるハイセイコーに比肩するとも評される高い人気を得た[4]。

!uv pip install transformers torch tokenizers sentencepiece protobuf
!uv pip install fast-bunkai nltk
!uv run python -c "import nltk; nltk.download('punkt'); nltk.download('punkt_tab')"

from transformers import AutoModel

model_name = "hotchpotch/open-provence-reranker-large-v1"
model = AutoModel.from_pretrained(
    model_name,
    trust_remote_code=True,
)

+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 550.54.15              Driver Version: 550.54.15      CUDA Version: 12.4     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  Tesla T4                       Off |   00000000:00:04.0 Off |                    0 |
| N/A   43C    P0             27W /   70W |    1374MiB /  15360MiB |     30%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+

from pathlib import Path
import requests
import re

def replace_heading(match):
    level = len(match.group(1))
    return '#' * level + ' ' + match.group(2).strip()

def get_wiki_content(title):
    response = requests.get(
        "https://ja.wikipedia.org/w/api.php",
        # ref: https://foundation.wikimedia.org/wiki/Policy:Wikimedia_Foundation_User-Agent_Policy
        headers={
            "User-Agent": "SampleBot/0.0 (https://zenn.dev/kun432/) requests/2.32.5"
        },
        params={
            "action": "query",
            "format": "json",
            "titles": title,
            "prop": "extracts",
            # 'exintro': True,
            "explaintext": True,
        },
    ).json()

    page = next(iter(response["query"]["pages"].values()))
    wiki_text = f"# {title}\n\n## 概要\n\n"
    wiki_text += page["extract"]

    wiki_text = re.sub(r"(=+)([^=]+)\1", replace_heading, wiki_text)
    wiki_text = re.sub(r"\t+", "", wiki_text)
    wiki_text = re.sub(r"\n{3,}", "\n\n", wiki_text)

    return wiki_text

print(len(get_wiki_content("オグリキャップ")))
print(get_wiki_content("オグリキャップ")[:1000])

37306
# オグリキャップ

## 概要

オグリキャップ（欧字名:Oguri Cap、1985年3月27日 - 2010年7月3日）は、日本の競走馬、種牡馬。
1987年5月に岐阜県の地方競馬・笠松競馬場でデビュー。8連勝、重賞5勝を含む12戦10勝を記録した後、1988年1月に中央競馬へ移籍し、重賞12勝（うちGI4勝）を記録した。1988年度のJRA賞最優秀4歳牡馬、1989年度のJRA賞特別賞、1990年度のJRA賞最優秀5歳以上牡馬および年度代表馬。1991年、JRA顕彰馬に選出。愛称は「オグリ」「芦毛の怪物」など多数。「スーパー・スター」と評された。
中央競馬時代はスーパークリーク、イナリワンの二頭とともに「平成三強」と総称され、自身と騎手である武豊の活躍を中心として起こった第二次競馬ブーム期において、第一次競馬ブームの立役者とされるハイセイコーに比肩するとも評される高い人気を得た。その人気は競馬ファンのみならず一般の大衆にも波及し、社会現象を巻き起こした。日本競馬史上において、特に人気を博した競走馬の一頭である。
競走馬引退後は北海道新冠町の優駿スタリオンステーションで種牡馬となったが、産駒から中央競馬の重賞優勝馬を出すことができず、2007年に種牡馬を引退。種牡馬引退後は同施設で功労馬として繋養されていたが、2010年7月3日に右後肢脛骨を骨折し、安楽死の処置が執られた。

## デビューまで

### 誕生に至る経緯
オグリキャップの母・ホワイトナルビーは競走馬時代に馬主の小栗孝一が所有し、笠松競馬場の調教師鷲見昌勇が管理した。ホワイトナルビーが繁殖牝馬となった後はその産駒の競走馬はいずれも小栗が所有し、鷲見が管理していた。
1984年のホワイトナルビーの交配相手には、小栗によると当初はトウショウボーイが種付けされる予定だったが、種付け予定に空きがなかったため断念した。そこで小栗の意向により、笠松競馬で優れた種牡馬成績を残していたダンシングキャップが選ばれた。鷲見はダンシングキャップの産駒に気性の荒い競走馬が多かったことを理由に反対したが、小栗は「ダンシングキャップ産駒は絶対によく走る」という確信と、ホワイトナルビーがこれまでに出産していた5頭の産駒が大人しい性格だったため大丈夫だろうと感じ、最終的に提案が実現した。
なお、オグリキャップは仔分けの馬で、出

question:str = "オグリキャップの主な勝鞍は？"
context:str = get_wiki_content("オグリキャップ")[:1000]

result = model.process(
    question=question,
    context=context,
    threshold=0.1,
    show_progress=True,
)

print("削除済みコンテキスト:\\n" + result["pruned_context"])
print("リランキングスコア:", round(result["reranking_score"], 4))
print("圧縮率:", round(result["compression_rate"], 2))

削除済みコンテキスト:\n8連勝、重賞5勝を含む12戦10勝を記録した後、1988年1月に中央競馬へ移籍し、重賞12勝（うちGI4勝）を記録した。
リランキングスコア: 0.7011
圧縮率: 94.0

question:str = "オグリキャップの馬主は誰？"
context:str = get_wiki_content("オグリキャップ")[:10000]

result = model.process(
    question=question,
    context=context,
    threshold=0.1,
    show_progress=True,
)

print("削除済みコンテキスト:\\n" + result["pruned_context"])
print("リランキングスコア:", round(result["reranking_score"], 4))
print("圧縮率:", round(result["compression_rate"], 2))

削除済みコンテキスト:\nオグリキャップの母・ホワイトナルビーは競走馬時代に馬主の小栗孝一が所有し、笠松競馬場の調教師鷲見昌勇が管理した。ホワイトナルビーが繁殖牝馬となった後はその産駒の競走馬はいずれも小栗が所有し、鷲見が管理していた。
なお、オグリキャップは仔分けの馬で、出生後に小栗が稲葉牧場に対してセリ市に出した場合の想定額を支払うことで産駒の所有権を取得する取り決めがされていた。食欲は稲葉牧場にいた頃と変わらず旺盛で、その点に惹かれた馬主が鷲見に購入の申し込みをするほどであった。

1988年1月、馬主の小栗はオグリキャップを2000万円で佐橋五十雄に売却し、佐橋は中央競馬への移籍を決定した。
オグリキャップは初代馬主の小栗孝一が中央で走らせるつもりがなかったことでクラシック登録をしていなかったため、前哨戦である毎日杯を優勝して本賞金額では優位に立ったものの皐月賞に登録できず、代わりに京都4歳特別に出走した。このレースでは翌1989年の全戦に騎乗することとなる南井克巳が鞍上を務め、オグリキャップ一頭だけが58キロの斤量を背負ったが第3コーナーで後方からまくりをかけ、優勝した。
天皇賞（秋）の結果を受け、馬主の佐橋がタマモクロスにリベンジを果たしたいという思いを強く抱いたことからオグリキャップの次走にはタマモクロスが出走を決めていたジャパンカップが選ばれ、オグリキャップは引き続き東京競馬場で調整された。前述のように、オグリキャップは初代馬主の小栗孝一が中央で走らせるつもりがなかったことでクラシック登録をしていなかったため、中央競馬クラシック三冠競走には出走できなかった。1988年9月、オグリキャップの2代目の馬主であった佐橋五十雄に脱税容疑がかかり、将来馬主登録を抹消される可能性が浮上した。これを受けて多くの馬主から購入の申し込みがあり、最終的に佐橋は翌1989年2月22日、近藤俊典へオグリキャップを売却した。ただしこの契約には、オグリキャップが競走馬を引退した後には所有権を佐橋に戻すという条件が付けられており、実態は名義貸しであり、実質的な権限は佐橋に残されているのではないかという指摘がなされた。オグリキャップ売却と同時に佐橋の馬主登録は抹消されたが、近藤は自らの勝負服の色と柄を、佐橋が用いていたものと全く同じものに変更した。

#### 5歳（1989年）


リランキングスコア: 0.7286
圧縮率: 90.12

mkdir open-provence-api/ && cd $_
uv venv -p 3.12 --seed

uv pip install torch --torch-backend=auto
uv pip install transformers tokenizers sentencepiece protobuf fast-bunkai nltk 

uv pip install gunicorn uvicorn[standard] fastapi

uv run python -c "import nltk; nltk.download('punkt'); nltk.download('punkt_tab')"
uv run python -c "from transformers import AutoModel; \
AutoModel.from_pretrained('hotchpotch/open-provence-reranker-xsmall-v1', trust_remote_code=True)"

import os
import gc
import nltk
import torch

from contextlib import asynccontextmanager
from typing import List, Optional, Union, Sequence

from fastapi import FastAPI, HTTPException
from pydantic import BaseModel
from transformers import AutoModel

# モデル名
MODEL_ID = os.getenv(
    "OPEN_PROVENCE_MODEL_ID",
    "hotchpotch/open-provence-reranker-xsmall-v1",
)
# コンテキスト合計の上限
MAX_CONTEXT_TOTAL_CHARS = int(os.getenv("MAX_CONTEXT_TOTAL_CHARS", "10000"))


@asynccontextmanager
async def lifespan(app: FastAPI):
    try:
        nltk.data.find("tokenizers/punkt")
        nltk.data.find("tokenizers/punkt_tab")
    except LookupError:
        nltk.download("punkt", quiet=True)
        nltk.download("punkt_tab", quiet=True)

    model = AutoModel.from_pretrained(
        MODEL_ID,
        trust_remote_code=True,
    )
    if torch.cuda.is_available():
        model = model.cuda()
    model.eval()
    app.state.model = model

    yield

    del app.state.model
    gc.collect()
    if torch.cuda.is_available():
        torch.cuda.empty_cache()


app = FastAPI(lifespan=lifespan)


QuestionType = Union[str, List[str]]
ContextType = Union[str, List[str], List[List[str]]]


class RerankRequest(BaseModel):
    question: QuestionType
    context: ContextType
    threshold: float = 0.1
    batch_size: int = 32
    language: Optional[str] = None
    reorder: bool = False
    top_k: Optional[int] = None
    first_line_as_title: bool = False
    always_select_title: bool = False
    return_sentence_metrics: bool = False
    return_sentence_texts: bool = False


class RerankResponse(BaseModel):
    data: dict


def _flatten_context_total_chars(context: ContextType) -> int:
    """contextをどの形で渡されても合計文字数を返す"""
    # str
    if isinstance(context, str):
        return len(context)

    # list[str]
    if isinstance(context, list) and (len(context) == 0 or isinstance(context[0], str)):
        return sum(len(c) for c in context)

    # list[list[str]]
    total = 0
    for sub in context:  # type: ignore[assignment]
        for s in sub:
            total += len(s)
    return total


def _same_len(a: Sequence, b: Sequence) -> bool:
    return len(a) == len(b)


def _validate_shape_and_size(req: RerankRequest):
    """questionとcontextのshapeをチェックする"""
    q = req.question
    c = req.context

    # question: str
    if isinstance(q, str):
        # context: str
        if isinstance(c, str):
            pass
        # context: list[str]
        elif isinstance(c, list) and (len(c) == 0 or isinstance(c[0], str)):
            pass
        # context: list[list[str]]
        elif isinstance(c, list):
            pass
        else:
            raise HTTPException(400, detail="invalid context shape for question:str")

    # question: list[str]
    else:
        if not isinstance(q, list):
            raise HTTPException(400, detail="question must be str or list[str]")

        # context: list[str]
        if isinstance(c, list) and (len(c) == 0 or isinstance(c[0], str)):
            if not _same_len(q, c):
                raise HTTPException(
                    400,
                    detail=f"question and context must have same length (got {len(q)} and {len(c)})",
                )
        # context: list[list[str]]
        elif isinstance(c, list):
            if not _same_len(q, c):
                raise HTTPException(
                    400,
                    detail=f"question and context must have same length (got {len(q)} and {len(c)})",
                )
        else:
            raise HTTPException(400, detail="invalid context shape for question:list[str]")

    # 合計文字数チェック
    total = _flatten_context_total_chars(c)
    if total > MAX_CONTEXT_TOTAL_CHARS:
        raise HTTPException(
            400,
            detail={
                "message": "total context too long",
                "total": total,
                "max_total": MAX_CONTEXT_TOTAL_CHARS,
            },
        )


@app.middleware("http")
async def cleanup_after_request(request, call_next):
    resp = await call_next(request)
    gc.collect()
    if torch.cuda.is_available():
        torch.cuda.empty_cache()
    return resp


@app.post("/rerank", response_model=RerankResponse)
def rerank(req: RerankRequest):
    _validate_shape_and_size(req)

    model = app.state.model
    with torch.inference_mode():
        out = model.process(
            question=req.question,
            context=req.context,
            threshold=req.threshold,
            batch_size=req.batch_size,
            language=req.language,
            reorder=req.reorder,
            top_k=req.top_k,
            first_line_as_title=req.first_line_as_title,
            always_select_title=req.always_select_title,
            return_sentence_metrics=req.return_sentence_metrics,
            return_sentence_texts=req.return_sentence_texts,
        )
    return RerankResponse(data=out)

export OPEN_PROVENCE_MODEL_ID=hotchpotch/open-provence-reranker-large-v1
export MAX_CONTEXT_TOTAL_CHARS=5000

uv run gunicorn app:app \
  -k uvicorn.workers.UvicornWorker \
  --bind 0.0.0.0:8000 \
  --workers 4 \
  --max-requests 1000 \
  --max-requests-jitter 100

curl -s -X POST http://localhost:8000/rerank \
    -H "Content-Type: application/json" \
    -d '{
        "question": "オグリキャップの主な勝鞍は？",
        "context": "オグリキャップ（欧字名:Oguri Cap、1985年3月27日 - 2010年7月3日）は、日本の競走馬、種牡馬[1]。1987年5月に岐阜県の地方競馬・笠松競馬場でデビュー。8連勝、重賞5勝を含む12戦10勝を記録した後、1988年1月に中央競馬へ移籍し、重賞12勝（うちGI4勝）を記録した。1988年度のJRA賞最優秀4歳牡馬[† 1]、1989年度のJRA賞特別賞[† 1]、1990年度のJRA賞最優秀5歳以上牡馬および年度代表馬[† 1]。1991年、JRA顕彰馬に選出。愛称は「オグリ」「芦毛の怪物」など多数。「スーパー・スター」[2]と評された。中央競馬時代はスーパークリーク、イナリワンの二頭とともに「平成三強」と総称され、自身と騎手である武豊の活躍を中心として起こった第二次競馬ブーム期において[3]、第一次競馬ブームの立役者とされるハイセイコーに比肩するとも評される高い人気を得た[4]。その人気は競馬ファンのみならず一般の大衆にも波及し、社会現象を巻き起こした。日本競馬史上において、特に人気を博した競走馬の一頭である。競走馬引退後は北海道新冠町の優駿スタリオンステーションで種牡馬となったが、産駒から中央競馬の重賞優勝馬を出すことができず、2007年に種牡馬を引退。種牡馬引退後は同施設で功労馬として繋養されていたが、2010年7月3日に右後肢脛骨を骨折し、安楽死の処置が執られた。",
        "reorder": true,
        "top_k": 2,
        "batch_size": 4
    }' | jq -r .

{
  "data": {
    "pruned_context": "8連勝、重賞5勝を含む12戦10勝を記録した後、1988年1月に中央競馬へ移籍し、重賞12勝（うちGI4勝）を記録した。",
    "reranking_score": 0.6971461176872253,
    "compression_rate": 90.08264462809917,
    "title": null,
    "timing": {
      "preprocess_seconds": 0.00035514775663614273,
      "assembly_seconds": 3.791693598031998e-05,
      "inference_seconds": 1.8919517369940877,
      "postprocess_seconds": 0.00022390950471162796,
      "total_seconds": 2.01486146915704,
      "sentence_collect_seconds": 0,
      "sentence_normalize_seconds": 0,
      "tokenize_seconds": 0,
      "fragment_split_seconds": 1.1714175343513489e-05,
      "fragment_decode_seconds": 0.00034343358129262924
    },
    "performance_trace": {
      "preprocess_seconds": 0.00035514775663614273,
      "assembly_seconds": 3.791693598031998e-05,
      "inference_seconds": 1.8919517369940877,
      "postprocess_seconds": 0.00022390950471162796,
      "total_seconds": 2.01486146915704,
      "sentence_collect_seconds": 0,
      "sentence_normalize_seconds": 0,
      "tokenize_seconds": 0,
      "fragment_split_seconds": 1.1714175343513489e-05,
      "fragment_decode_seconds": 0.00034343358129262924
    }
  }
}