Numeraiで比較的安定して稼ぐ方法について
これはNumerai Advent Calendar 2022 の12/18 の記事です。
概要
- 現状、TCに挑戦するのはリスキー。運営がTCの評価方法を改善してから取り組んだ方が良い。
- 安定を取るなら予測結果にFeature Neutralization をかけてCORR狙い。
- 有害な特徴量が報告されているので、それらを省いてモデルを作成する方が良いかも。
現状のTCについて
今年、Numerai でMMC に変わる評価指標としてTC ができた。これは、予測結果がどの程度ファンドに貢献しているのかを測る指標である一方で、それをローカルで評価する方法はない。そのため、自分で作ったモデルがどの程度のTCを持つのか確かめる術はない。また、いくつかのモデルのTC を確認したところ、変動が大きく、TC に関する平均回帰性が成り立っているように見える。要するに、ある期間内でTC が大きくアウトパフォームしたモデルは、別の期間で大きくアンダーパフォームしているのである。これはドローダウンを喰らうときの心的負担が大きい。
この問題に対する解決策の一つは、複数のモデルを運用しそれらを用いてポートフォリオを作って分散投資をすることであるのだが、４月に発表されたStaking3.0がまだ実装されていないため、実現することは困難であるように見える。Staking3.0の完成を待ちたい。また、TC の不安定さについても、今後運営が解決してくれることを祈る。
安定して稼ぎたいならCORR狙い
リスクを極力落としたいのであれば、私はCORR を伸ばすことを薦めたい。Numerai 的にはTC のみで参加者を評価したいところであるが、TC を評価するための比較対象としてもCORR の高いモデルを残す必要があるはずだ。実際、 Fireside chat でもトーナメントを複雑にしたくないということを述べており、CORR の高いモデルの需要はある。そこで、Meta Model との相関が高いモデルを作る方法として、以下の方法を薦めたい。
- 勾配木モデルで標準的な予測モデルを構築する。
- neutralization をかけたい特徴量（CORRの変動が大きい、最近ワークしていない、など）を定め、それらで予測結果に対してneutralization を書ける。
- 最初はstake なしで提出して様子を見て、Meta Model との相関が0.8くらいであれば、そのモデルで運用する。
まず、1.について、Numerai のMeta model は現在のところ気軽に作れる勾配木モデルが大半である。そのため、素直なモデルを作成するためには同じようなモデルを採用することが望ましいだろう。次に2.について、Numerai は特徴量選別コンペともみなすことができ、最初のうちは、学習に用いるデータとneutraization を掛ける特徴量を選ぶことに注力した方が良いだろうし、素直なアプローチに見える。最後に3.について、現状Meta model に近いモデルの相関は0.8~0.9くらいである。Meta model はファンドで成果を上げているので、良いモデルであるはずである。従って、検証の結果が上々で、かつMeta model との相関が高いモデルであれば、安定したパフォーマンスが出せることが期待される。また、TC の安定性についても、Meta model との相関が0.8くらいのモデルの方が高いように見える。そのため、安定したTCを実現したい人にも、この数値は参考になるのではないかと考えている。
有害な特徴量を排除する。
トーナメントで採用されているいくつかの特徴量は、今では機能していない。詳細は、以下のForum を参考していただきたい。 また、このような特徴量が今後も出てくる可能性は高い。そのため、随時他の特徴量もモニターしておくと良いことがあるかもしれない。あるいは、悪い特徴量でneutralization を掛けることも、意味があるかもしれない。しかし少なくとも、これらの特徴量を予測モデル構築に使うのはやめておいた方が良いだろう。
まとめ
- TC はまだ指標としては未成熟であり、今後改善されてから取り組んだ方がよい。
- feature neutralization を用いて安定してCORRで稼ぐことにより、心的負担を減らすことができる。目標は、Meta model との相関0.8程度
- 有害な特徴量が報告されているのでモデル構築では省くべき。今後も似たような特徴量が出てくる可能性があるため、随時チェックしておく方がベター
最後に
以前マケデコのAMAでも問われたのだが、筆者が一つのモデルに大きくstake している理由について述べたい。通常、きちんと作られた予測モデルは、大きく外すことはない。また、大きくパフォーマンスが落ちる期間があっても、きちんと作られているのであれば、その後平均回帰する。そのため、特定の期間では大きくアンダーパフォームしても、長期でみればその後アウトパフォームするのである。長期的にstake するのであれば、短期的な損失は気にするべきではないだろう。
以上で、今年書きたいことは大体述べました。来年もよいNumeraiライフを遅れることを期待しています。
Numerai or Die!
Discussion