Goのhttp.RoundTripperでレート制御とリトライの機能を追加する方法

はじめに

Goで外部へhttpリクエストを行う際には、多くの場合でnet/httpを利用すると思います。
net/httpには通常利用する分には必要な機能が備わっていますが、独自に拡張して使いたい場合はhttp.RoundTripperというインターフェースを利用できます。
利用方法の解説としては、こちらの「Go http.RoundTripper 実装ガイド」という記事に詳細に解説がありましたので参考にさせて頂き、
今回はより具体的な利用例にフォーカスして実装例を交えて紹介したいと思います。

やりたいこと

素のnet/httpではリクエストがエラーになった際のリトライや、秒間リクエストの最大値を制限するようなレート制御の機能はありません。
なので今回は、

• リトライ処理
• レート制御

この２つをhttp.RoundTripperを使って拡張実装したいと思います。

※今回のサンプルコードの完成品はこちらにupしています。

事前準備

今回実装するhttp.RoundTripperの枠を用意します。

http.RoundTripperをフィールドに持つ構造体(MyTransport)を定義し、
初期化用の関数を定義します。

さらに、MayTransportのレシーバー関数にRoundTrip(req *http.Request) (*http.Response, error)を追加することで、暗黙的にhttp.RoundTripperインターフェースに準拠させます。

import (
	"net/http"
)

type MyTransport struct {
	wrapped http.RoundTripper
}

func NewMyTransport(transport http.RoundTripper) *MyTransport {
	return &MyTransport{
		wrapped: transport,
	}
}

func (t *MyTransport) RoundTrip(req *http.Request) (*http.Response, error) {
	return t.wrapped.RoundTrip(req)
}

RoundTripに処理を追加することで、httpリクエストの前後処理を追加することができます。

リトライ制御

RoundTrip(req *http.Request) (*http.Response, error)にリトライ処理を追加していきましょう。

MyTransportのフィールドに、最大リトライ数とリトライした数を追加します。

type MyTransport struct {
	wrapped http.RoundTripper

	maxRetryCounts int // 最大リトライ数
	retryCounts    int // リトライした数
}

初期化時にmaxRetryCountsの値を渡せるようにします。

func NewLimitedTransport(transport http.RoundTripper, maxRetryCounts int) *MyTransport {
	return &MyTransport{
		wrapped:        transport,
		maxRetryCounts: maxRetryCounts,
	}
}

次にRoundTrip内にリトライ処理を追加していきます。

レスポンスのステータスコードが50x系以上の場合はリトライするようにします。
また、maxRetryCountsで指定した上限までリトライし、Exponential BackOffのアルゴリズムで指数関数的リトライ間隔を増加させます。

func (t *MyTransport) RoundTrip(req *http.Request) (*http.Response, error) {
	var res *http.Response
	var err error
	for {
		// 実際のhttpリクエストはここ
		res, err = lt.wrapped.RoundTrip(req)

		// 50x系以上はリトライ
		if res != nil && res.StatusCode < http.StatusInternalServerError {
			break
		}

		// リトライ数の上限チェック
		lt.retryCounts++
		if lt.retryCounts > lt.maxRetryCounts {
			break
		}

		// Exponential BackOff でウェイトを入れる
		time.Sleep(time.Second * time.Duration(math.Pow(2, float64(lt.retryCounts))))
	}
	lt.retryCounts = 0
	return res, err
}

レート制御

RoundTrip(req *http.Request) (*http.Response, error)にレート処理を追加していきましょう。

今回はFixed Window Counterというアルゴリズムでレート制御を実装してみます。
簡単にいうと、経過する時間を固定の期間で区切り、期間ごとに許可するリクエスト数を制限するアルゴリズムです。

固定期間を表す構造体(Window)を定義し、単位時間あたりのリクエスト数上限、単位時間(ms)、現在のwindowをMyTransportのフィールドに追加します。

type MyTransport struct {
... 省略
	maxRequestCounts int    // 単位時間あたりのリクエスト数上限
	perMilliSecond   int64  // 単位時間(ms)
	window           Window // 現在のwindow
}

// 固定期間(Window)の構造体
type Window struct {
	key           int64 // windowのキー
	requestCounts int   // window内のリクエスト数
}

MyTransportの初期化時ににこれらを初期化できるようにします。

func NewMyTransport(transport http.RoundTripper, maxRetryCounts int, maxRequestCounts int, perMilliSecond int64) *MyTransport {
	return &MyTransport{
		wrapped:          transport,
		maxRequestCounts: maxRequestCounts,
		perMilliSecond:   perMilliSecond,
		maxRetryCounts:   maxRetryCounts,
		retryCounts:      0,
		window: Window{
			key:           int64(0),
			requestCounts: 0,
		},
	}
}

最後にレート制御の処理をRoundTripに追加します。

現在時刻をperMilliSecondで割って切り捨てた数をwindowのキーとします。
このkeyはperMilliSecond経過毎に新しい値になりますので、同じwindow内での一意なキーとなります。

func (t *MyTransport) RoundTrip(req *http.Request) (*http.Response, error) {
	for {
		now := time.Now().UnixMilli()
		cKey := now / t.perMilliSecond

		// 新しい固定期間(window)になったらwaitなしでリクエストする
		if t.window.key != cKey {
			t.window = Window{
				key:           cKey,
				requestCounts: 0,
			}
			break
		}

		// 単位時間あたりのリクエスト数上限まではwaitなしでリクエストする
		if t.window.requestCounts < t.maxRequestCounts {
			break
		}

		// リクエスト数上限を超えていたら、waitする
		wait := t.perMilliSecond - now%t.perMilliSecond
		time.Sleep(time.Millisecond * time.Duration(wait))
	}
	t.window.requestCounts++

...省略、以下でリクエスト処理を行う
	return res, err
}

テスト

それでは、完成したMyTransportを使ってテストをしてみます。

今回は以下のような設定でテストをしてみます

• 最大リトライ数は5
• 4.5秒毎に最大3リクエストまで

client := http.Client{
	Transport: NewMyTransport(
		http.DefaultTransport,
		5,    // 最大リトライ数
		3,    // 単位時間あたりのリクエスト数上限
		4500, // 単位時間(ms)
	),
}

この設定で500が返ってくるエンドポイントにリクエストを送ってみます

resp, _ := client.Get(url)
defer resp.Body.Close()

結果はこちら、リトライ間隔を徐々に開けつつ5回までりトライされていることがわかります

{"time":"2022-09-09T08:59:01.521892211Z","level":"INFO","prefix":"-","file":"http.go","line":"69","message":"500"}
{"time":"2022-09-09T08:59:03.577460181Z","level":"INFO","prefix":"-","file":"http.go","line":"69","message":"500"}
{"time":"2022-09-09T08:59:07.642723871Z","level":"INFO","prefix":"-","file":"http.go","line":"69","message":"500"}
{"time":"2022-09-09T08:59:15.713717009Z","level":"INFO","prefix":"-","file":"http.go","line":"69","message":"500"}
{"time":"2022-09-09T08:59:31.822121165Z","level":"INFO","prefix":"-","file":"http.go","line":"69","message":"500"}
{"time":"2022-09-09T09:00:03.914825907Z","level":"INFO","prefix":"-","file":"http.go","line":"69","message":"500"}

次に、200が返ってくるエンドポイントに20回連続してリクエストを送ってみます

for i := 0; i < 20; i++ {
	resp, _ := client.Get(url)
	defer resp.Body.Close()
}

結果はこちら。
少し見づらいですが、大体4.5秒毎に３リクエストのペースでリクエストされていることがわかります

{"time":"2022-09-09T09:00:04.006523686Z","level":"INFO","prefix":"-","file":"http.go","line":"69","message":"200"}
{"time":"2022-09-09T09:00:04.103094697Z","level":"INFO","prefix":"-","file":"http.go","line":"69","message":"200"}
{"time":"2022-09-09T09:00:04.189073231Z","level":"INFO","prefix":"-","file":"http.go","line":"69","message":"200"}
{"time":"2022-09-09T09:00:04.552413101Z","level":"INFO","prefix":"-","file":"http.go","line":"69","message":"200"}
{"time":"2022-09-09T09:00:04.647212881Z","level":"INFO","prefix":"-","file":"http.go","line":"69","message":"200"}
{"time":"2022-09-09T09:00:04.727567042Z","level":"INFO","prefix":"-","file":"http.go","line":"69","message":"200"}
{"time":"2022-09-09T09:00:09.051296264Z","level":"INFO","prefix":"-","file":"http.go","line":"69","message":"200"}
{"time":"2022-09-09T09:00:09.149187824Z","level":"INFO","prefix":"-","file":"http.go","line":"69","message":"200"}
{"time":"2022-09-09T09:00:09.239032885Z","level":"INFO","prefix":"-","file":"http.go","line":"69","message":"200"}
{"time":"2022-09-09T09:00:13.549064137Z","level":"INFO","prefix":"-","file":"http.go","line":"69","message":"200"}
{"time":"2022-09-09T09:00:13.636816718Z","level":"INFO","prefix":"-","file":"http.go","line":"69","message":"200"}
{"time":"2022-09-09T09:00:13.724980151Z","level":"INFO","prefix":"-","file":"http.go","line":"69","message":"200"}
{"time":"2022-09-09T09:00:18.054925814Z","level":"INFO","prefix":"-","file":"http.go","line":"69","message":"200"}
{"time":"2022-09-09T09:00:18.15239561Z","level":"INFO","prefix":"-","file":"http.go","line":"69","message":"200"}
{"time":"2022-09-09T09:00:18.231450035Z","level":"INFO","prefix":"-","file":"http.go","line":"69","message":"200"}
{"time":"2022-09-09T09:00:22.566128516Z","level":"INFO","prefix":"-","file":"http.go","line":"69","message":"200"}
{"time":"2022-09-09T09:00:22.663002133Z","level":"INFO","prefix":"-","file":"http.go","line":"69","message":"200"}
{"time":"2022-09-09T09:00:22.750378144Z","level":"INFO","prefix":"-","file":"http.go","line":"69","message":"200"}
{"time":"2022-09-09T09:00:27.06199479Z","level":"INFO","prefix":"-","file":"http.go","line":"69","message":"200"}
{"time":"2022-09-09T09:00:27.156784826Z","level":"INFO","prefix":"-","file":"http.go","line":"69","message":"200"}

まとめ

今回はGoにおけるhttpリクエストのレート制御とリトライの機能を、
http.RoundTripperというインターフェースを拡張することで実現しました。
外部のAPIを利用するときに、「毎秒○回まで」のような利用制限が設けられている場合がよくありますが、そんな時に役立てれば幸いです。