mkdir portkey-ai-gateway-work && cd $_

mise use node@22

npx @portkey-ai/gateway

Need to install the following packages:
@portkey-ai/gateway@1.10.0
Ok to proceed? (y)

🚀 Your AI Gateway is running at:
   http://localhost:8787

📱 UI: http://localhost:8787/public/

✨ Ready for connections!

export OPENAI_API_KEY=XXXXX

curl -X POST \
      http://localhost:8787/v1/chat/completions \
      -H "Content-Type: application/json" \
      -H "x-portkey-provider: openai" \
      -H "Authorization: $OPENAI_API_KEY" \
      -d '{
        "messages": [
            { "role": "user", "content": "こんにちは！" }
        ],
        "model": "gpt-4o-mini"
      }' | jq -r .

{
  "id": "chatcmpl-BoWPneYBCEoydQo9wI5hjRzqpMEe9",
  "object": "chat.completion",
  "created": 1751380703,
  "model": "gpt-4o-mini-2024-07-18",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "content": "こんにちは！どういったことをお手伝いできますか？",
        "refusal": null,
        "annotations": []
      },
      "logprobs": null,
      "finish_reason": "stop"
    }
  ],
  "usage": {
    "prompt_tokens": 9,
    "completion_tokens": 14,
    "total_tokens": 23,
    "prompt_tokens_details": {
      "cached_tokens": 0,
      "audio_tokens": 0
    },
    "completion_tokens_details": {
      "reasoning_tokens": 0,
      "audio_tokens": 0,
      "accepted_prediction_tokens": 0,
      "rejected_prediction_tokens": 0
    }
  },
  "service_tier": "default",
  "system_fingerprint": "fp_34a54ae93c"
}

export ANTHROPIC_API_KEY=XXXXX

curl -X POST \
      http://localhost:8787/v1/chat/completions \
      -H "Content-Type: application/json" \
      -H "x-portkey-provider: anthropic" \
      -H "Authorization: $ANTHROPIC_API_KEY" \
      -d '{
        "messages": [
            { "role": "user", "content": "こんにちは！" }
        ],
        "model": "claude-3-5-sonnet-20240620",
        "max_tokens": 1024
      }' | jq -r .

{
  "id": "msg_01SFh93yH9cTKFMs2e2ChhRL",
  "object": "chat.completion",
  "created": 1751380726,
  "model": "claude-3-5-sonnet-20240620",
  "provider": "anthropic",
  "choices": [
    {
      "message": {
        "role": "assistant",
        "content": "こんにちは！お元気ですか？何かお手伝いできることはありますか？どんな話題でも構いませんので、お気軽にお話しください。"
      },
      "index": 0,
      "logprobs": null,
      "finish_reason": "stop"
    }
  ],
  "usage": {
    "prompt_tokens": 13,
    "completion_tokens": 53,
    "total_tokens": 66
  }
}

uv init -p 3.12.9 portkey-ai-gateway-python-work && cd $_

uv add portkey-ai

 + portkey-ai==1.14.0

from portkey_ai import Portkey
import os

client = Portkey(
    provider="openai",
    Authorization=os.environ["OPENAI_API_KEY"]
)

response = client.chat.completions.create(
    messages=[
        {"role": "user", "content": "こんにちは！"}
    ],
    model="gpt-4o-mini"
)

print(response.choices[0].message.content)

uv run openai_client.py

こんにちは！何かお手伝いできることがあれば教えてください。

from portkey_ai import Portkey
import os

client = Portkey(
    provider="anthropic",
    Authorization=os.environ["ANTHROPIC_API_KEY"]
)

response = client.chat.completions.create(
    messages=[
        {"role": "user", "content": "こんにちは！"}
    ],
    max_tokens=1024,
    model="claude-3-5-sonnet-20240620"
)

print(response.choices[0].message.content)

uv run anthropic_client.py

こんにちは！お元気ですか？何かお手伝いできることはありますか？ご質問やお話したいトピックがあれば、お気軽にお聞かせください。

from portkey_ai import Portkey
import os

config = {
    "retry": {
        "attempts": 5,
        "on_status_codes": [246, 446]
    },
    "output_guardrails": [{
        "default.contains": {
            "operator": "none",
            "words": ["スーパークリーク", "イナリワン"]
        },
        "deny": True
    }]
}

client = Portkey(
    provider="openai",
    Authorization=os.environ["OPENAI_API_KEY"],
    config=config
)

response = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[
        {
            "role": "user",
            "content": "オグリキャップ、スーパークリーク、イナリワン、のどれかをランダムに答えて。"
        }
    ],
    # OpenAI Dashboardで確認するために設定。AI Gatewayで必須ではない。
    metadata={"test": "portkey_routing_test"}
)

print(response.choices[0].message.content)

オグリキャップ

pip install openai portkey-ai

 + openai==1.93.0

export PORTKEY_API_KEY=XXXXX

from openai import OpenAI
from portkey_ai import createHeaders, PORTKEY_GATEWAY_URL
import os

client = OpenAI(
    api_key="dummy", # バーチャルキーを使う場合は不要
    base_url=PORTKEY_GATEWAY_URL, # 管理画面のサンプルコードではこれが足りない
    default_headers=createHeaders(
        api_key=os.environ["PORTKEY_API_KEY"],
        virtual_key="open-ai-virtual-XXXXXX"
    )
)

completion=client.chat.completions.create(
    messages=[
        {"role": "system", "content": "あなたは親切な日本語のアシスタントです。"},
        {"role": "user", "content": "こんにちは！"}
    ],
    model="gpt-4o-mini",
)

print(completion.choices[0].message.content)

uv run openai_native_client.py

こんにちは！今日はどんなことをお手伝いしましょうか？

from portkey_ai import Portkey
import os

config = {
    # 入力ガードレール
    "input_guardrails": ["pg-forbid-78d097"],
    # 出力ガードレール
    "output_guardrails": ["pg-forbid-78d097"],
}

client = Portkey(
    api_key=os.environ["PORTKEY_API_KEY"],
    virtual_key="open-ai-virtual-XXXXXXXX",
    config=config,
)


response = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[
        {
            "role": "user",
            "content": "オグリキャップについて教えて。",
        }
    ],
)

print(response.choices[0].message.content)

uv run portkey_cloud_guardrails.py

openai.APIStatusError: Error code: 446 - {
    'error': {
        'message': 'The guardrail checks defined in the config failed. You can find more information in the `hook_results` object.',
        'type': 'hooks_failed',
        'param': None,
        'code': None
    },
    'hook_results': {
        'before_request_hooks': [
            {
                'verdict': False,
                'id': 'pg-forbid-78d097',
                'transformed': False,
                'checks': [
                    {
                        'data': {
                            'explanation': "Check failed for 'none' words. Some words were found.",
                            'foundWords': ['オグリキャップ'],
                            'missingWords': [],
                            'operator': 'none'
                        },
                        'verdict': False,
                        'id': 'default.contains',
                        'execution_time': 0,
                        'transformed': False,
                        'created_at': '2025-07-06T08:35:59.641Z',
                        'log': None,
                        'fail_on_error': False
                    }
                ],
                'feedback': {
                    'value': -5,
                    'weight': 1,
                    'metadata': {
                        'successfulChecks': '',
                        'failedChecks': 'default.contains',
                        'erroredChecks': ''
                    }
                },
                'execution_time': 0,
                'async': False,
                'type': 'guardrail',
                'created_at': '2025-07-06T08:35:59.641Z',
                'deny': True
            }
        ],
        'after_request_hooks': []
    }
}

(snip)
    messages=[
        {
            "role": "user",
            "content": "オグリローマンの兄で有名な競走馬の名前は？",
        }
    ],
(snip)

openai.APIStatusError: Error code: 446 - {
	'error': {
		'message': 'The guardrail checks defined in the config failed. You can find more information in the `hook_results` object.',
		'type': 'hooks_failed',
		'param': None, 'code': None
	},
	'hook_results': {
		'before_request_hooks': [
			{
				'verdict': True,
				'id': 'pg-forbid-78d097',
				'transformed': False,
				'checks': [
					{
						'data': {
							'explanation': "Check passed for 'none' words. No words were found.",
							'foundWords': [],
							'missingWords': ['オグリキャップ'],
							'operator': 'none'
						},
						'verdict': True,
						'id': 'default.contains',
						'execution_time': 0,
						'transformed': False,
						'created_at': '2025-07-06T08:58:41.755Z',
						'log': None,
						'fail_on_error': False
					}
				],
				'feedback': {
					'value': 5,
					'weight': 1,
					'metadata': {
						'successfulChecks': 'default.contains',
						'failedChecks': '',
						'erroredChecks': ''
					}
				},
				'execution_time': 0,
				'async': False,
				'type': 'guardrail',
				'created_at': '2025-07-06T08:58:41.755Z',
				'deny': False
			}
		],
		'after_request_hooks': [
			{
				'verdict': False,
				'id': 'pg-forbid-78d097',
				'transformed': False,
				'checks': [
					{
						'data': {
							'explanation': "Check failed for 'none' words. Some words were found.",
							'foundWords': ['オグリキャップ'],
							'missingWords': [],
							'operator': 'none'
						},
						'verdict': False,
						'id': 'default.contains',
						'execution_time': 0,
						'transformed': False,
						'created_at': '2025-07-06T08:58:43.294Z',
						'log': None,
						'fail_on_error': False
					}
				],
				'feedback': {
					'value': -5,
					'weight': 1,
					'metadata': {
						'successfulChecks': '',
						'failedChecks': 'default.contains',
						'erroredChecks': ''
					}
				},
				'execution_time': 0,
				'async': False,
				'type': 'guardrail',
				'created_at': '2025-07-06T08:58:43.294Z',
				'deny': True
			}
		]
	}
}

from portkey_ai import Portkey
import os
import json

config = {
    "input_guardrails": ["pg-forbid-78d097"],
    "output_guardrails": ["pg-forbid-78d097"],
}

client = Portkey(
    api_key=os.environ["PORTKEY_API_KEY"],
    virtual_key="open-ai-virtual-2d0a94",
    config=config,
)


response = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[
        {
            "role": "user",
            "content": "オグリキャップについて教えて。",
        }
    ],
)

# レスポンスを全て表示
print(json.dumps(response.model_dump(), indent=2, ensure_ascii=False))

{
  "id": "chatcmpl-BqH91nefAPUyAxldR9ZiwqacXq5Ad",
  "choices": [
    {
      "finish_reason": "stop",
      "index": 0,
      "logprobs": null,
      "message": {
        "content": "オグリキャップは、日本の競走馬で、1980年代に活躍した名馬です。彼は1986年にデビューし、その後多くの重要なレースで優勝を果たしました。特に、1988年の有馬記念での勝利は非常に印象的で、多くの競馬ファンに記憶されています。\n\nオグリキャップの特徴としては、優れたスピードとスタミナを兼ね備えていたことが挙げられます。また、彼はその個性的な外見と、ファンとの強い絆でも知られています。オグリキャップは、引退後も競馬界での影響力を持ち続け、多くの人々に愛されました。\n\n彼の血統は、父が「スピリツトスワプス」、母が「オグリヒメ」で、特に父のスピリツトスワプスから受け継いだ能力が彼の成績にも表れています。\n\nオグリキャップの物語やスピリットは、競馬の文化の中で今でも語り継がれており、彼にまつわるエピソードは多くの人に感動を与えています。",
        "role": "assistant",
        "function_call": null,
        "tool_calls": null,
        "refusal": null,
        "audio": null,
        "annotations": []
      }
    }
  ],
  "created": 1751798659,
  "model": "gpt-4o-mini-2024-07-18",
  "object": "chat.completion",
  "system_fingerprint": "fp_34a54ae93c",
  "usage": {
    "prompt_tokens": 16,
    "completion_tokens": 294,
    "total_tokens": 310,
    "completion_tokens_details": {
      "accepted_prediction_tokens": 0,
      "audio_tokens": 0,
      "reasoning_tokens": 0,
      "rejected_prediction_tokens": 0
    },
    "prompt_tokens_details": {
      "audio_tokens": 0,
      "cached_tokens": 0
    }
  },
  "service_tier": "default",
  "hook_results": {
    "before_request_hooks": [
      {
        "verdict": false,
        "id": "pg-forbid-78d097",
        "transformed": false,
        "checks": [
          {
            "data": {
              "explanation": "Check failed for 'none' words. Some words were found.",
              "foundWords": [
                "オグリキャップ"
              ],
              "missingWords": [],
              "operator": "none"
            },
            "verdict": false,
            "id": "default.contains",
            "execution_time": 0,
            "transformed": false,
            "created_at": "2025-07-06T10:44:19.106Z",
            "log": null,
            "fail_on_error": false
          }
        ],
        "feedback": {
          "value": -5,
          "weight": 1,
          "metadata": {
            "successfulChecks": "",
            "failedChecks": "default.contains",
            "erroredChecks": ""
          }
        },
        "execution_time": 0,
        "async": false,
        "type": "guardrail",
        "created_at": "2025-07-06T10:44:19.106Z",
        "deny": false
      }
    ],
    "after_request_hooks": [
      {
        "verdict": false,
        "id": "pg-forbid-78d097",
        "transformed": false,
        "checks": [
          {
            "data": {
              "explanation": "Check failed for 'none' words. Some words were found.",
              "foundWords": [
                "オグリキャップ"
              ],
              "missingWords": [],
              "operator": "none"
            },
            "verdict": false,
            "id": "default.contains",
            "execution_time": 0,
            "transformed": false,
            "created_at": "2025-07-06T10:44:23.968Z",
            "log": null,
            "fail_on_error": false
          }
        ],
        "feedback": {
          "value": -5,
          "weight": 1,
          "metadata": {
            "successfulChecks": "",
            "failedChecks": "default.contains",
            "erroredChecks": ""
          }
        },
        "execution_time": 0,
        "async": false,
        "type": "guardrail",
        "created_at": "2025-07-06T10:44:23.968Z",
        "deny": false
      }
    ]
  }
}

curl -v https://api.portkey.ai/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "x-portkey-api-key: $PORTKEY_API_KEY" \
  -H "x-portkey-virtual-key: open-ai-virtual-2d0a94" \
  -H "x-portkey-config: pc-forbid-56ab43" \
  -d '{
    "model": "gpt-4o-mini",
    "messages": [{
        "role": "user",
        "content": "オグリキャップについて教えて。!"
      }]
  }'

< HTTP/2 246
< date: Sun, 06 Jul 2025 10:55:56 GMT
< content-type: application/json
< content-length: 3467
(snip)

{
	"id":"chatcmpl-BqHKBAr4GsonW3eLDwu0aSOoCp7ci",
	"object":"chat.completion",
	"created":1751799351,
	"model":"gpt-4o-mini-2024-07-18",
	"choices":[
		{
			"index":0,
			"message":{
				"role":"assistant",
				"content":"オグリキャップ（Oguri Cap）は、日本の競走馬で、特に1980年代後半から1990年代初頭にかけて活躍しました。彼はその独特の外見と走り方、そして数々の名勝負で競馬ファンから愛されました。\n\n### 基本情報\n- **生年**: 1983年\n- **馬主**: 佐々木竹見\n- **調教師**: 矢野照正\n- **主な戦績**: G1レースでの優勝を含む多くの勝ち星\n\n### 特徴\n1. **走り方**: オグリキャップは、時に力強い走りを見せる一方で、繊細な動きも持ち合わせていました。これがファンを魅了しました。\n2. **スタイル**: 毛色は栗毛で、印象的な姿勢と似たような名前を持つ伝説的な競走馬「シンボリルドルフ」ともライバル関係にありました。\n3. **人気**: 彼の競走生活は、多くのファンを魅了し、競馬界におけるアイコン的存在となっています。特に、彼の競走中の姿勢や表情は多くの締切りを記録しました。\n\n### 主な戦績\n- **有馬記念**: 1989年、1990年に優勝\n- **天皇賞（春）**: 1990年に優勝\n- **ジャパンカップ**: 1992年に優勝\n\nオグリキャップは、2000年に引退し、その後は種牡馬としても活動しましたが、2004年に亡くなりました。彼の名は日本競馬史に深く刻まれています。オグリキャップのストーリーは、競馬の魅力や感動を多くの人に伝えるものであり、今でも多くの競馬ファンに親しまれています。",
				"refusal":null,
				"annotations":[]
			},
			"logprobs":null,
			"finish_reason":"stop"
		}
	],
	"usage":{
		"prompt_tokens":17,
		"completion_tokens":468,
		"total_tokens":485,
		"prompt_tokens_details":{
			"cached_tokens":0,
			"audio_tokens":0
		},
		"completion_tokens_details":{
			"reasoning_tokens":0,
			"audio_tokens":0,
			"accepted_prediction_tokens":0,
			"rejected_prediction_tokens":0
		}
	},
	"service_tier":"default",
	"system_fingerprint":"fp_34a54ae93c",
	"hook_results":{
		"before_request_hooks":[
			{
				"verdict":false,
				"id":"pg-forbid-78d097",
				"transformed":false,
				"checks":[
					{
						"data":{
							"explanation":"Check failed for 'none' words. Some words were found.",
							"foundWords":["オグリキャップ"],
							"missingWords":[],
							"operator":"none"
						},
						"verdict":false,
						"id":"default.contains",
						"execution_time":0,
						"transformed":false,
						"created_at":"2025-07-06T10:55:51.363Z",
						"log":null,
						"fail_on_error":false
					}
				],
				"feedback":{
					"value":-5,
					"weight":1,
					"metadata":{
						"successfulChecks":"",
						"failedChecks":"default.contains",
						"erroredChecks":""
					}
				},
				"execution_time":0,
				"async":false,
				"type":"guardrail",
				"created_at":"2025-07-06T10:55:51.363Z",
                "deny":false
            }
        ],
        "after_request_hooks":[
            {
                "verdict":false,
                "id":"pg-forbid-78d097",
                "transformed":false,
                "checks":[
                    {
                        "data":{
                            "explanation":"Check failed for 'none' words. Some words were found.",
                            "foundWords":["オグリキャップ"],
                            "missingWords":[],
                            "operator":"none"
                        },
                        "verdict":false,
                        "id":"default.contains",
                        "execution_time":0,
                        "transformed":false,
                        "created_at":"2025-07-06T10:55:56.316Z",
                        "log":null,
                        "fail_on_error":false
                    }
                ],
                "feedback":{
                    "value":-5,
                    "weight":1,
                    "metadata":{
                        "successfulChecks":"",
                        "failedChecks":"default.contains",
                        "erroredChecks":""
                    }
                },
                "execution_time":0,
                "async":false,
                "type":"guardrail",
                "created_at":"2025-07-06T10:55:56.316Z",
                "deny":false
            }
        ]
    }
}

{
  "retry": {
    "on_status_codes": [246],
    "attempts": 5
  },
  "output_guardrails": ["guardrails-id-xxx"]
}