Numerai 2022Q4炉端会議
60日targetのstakingについて説明するCTO（右）と、その間にオシャレなボトルで水分補給するCEO（左）
この記事は？
NumeraiのCEOとCTOが2022年07月07日に以下のYouTubeに公開した、炉端会議 (fireside chat)の中で、個人的に面白いと思った内容のメモです。
正確な一次情報を知りたい方は↑の動画をご覧になってください。Slidoのvote順の回答になっているため、大事そうな前半に特にフォーカスしています。
以前の関連記事は↓
（2020Q4）
（2021Q1）
（2021Q2）
(2021Q3)
(2021Q4)
(2022Q1)
(2022Q2)
注）Numeraiって何ぞという方は、Numerai Japanese Docsをご覧ください
注）私の英語力の問題で以下の内容が正確ではない可能性があります
注）全てのQ&Aを網羅しているわけではありません
CEOから
（CEO）まずはようこそ。Numerai Firesideチャットへ。このイベントでは、Numerai参加者データサイエンスコミュニティからの質問に我々が答える。
簡単にNumeraiについておさらいしようか。我々は史上最も優れたAIヘッジファンドを作ろうとしていて、その実現のためには、世界中の最も優れたデータサイエンティストに機械学習を使ってモデリングをしてもらい、その結果を提出してもらうことだと信じている。モデリングするデータは我々が提供するもの（Numerai Tournament）もあるし、ユーザがデータを既に持っていればそれを使ってもらう（Numerai Signals）こともできる。
隣にいるのがCTOのAnson Chuだ。
（CTO）やあ
私は創立者でCEOのRichardだ。
（CEO）何か冒頭に話しておきたいことある？
（CTO）そうだな...カジュアルに、リチャード、最近どんな感じだい？笑
（CEO）いい感じだ笑 サンフランシスコに戻ってきた。6週間ほどニューヨークにいて、会社とファンドの資金調達に取り組んでいた。そのおかげで現在のAUM (Assets Under Management)は1.2億ドル（170億円くらい） になった。18か月前は700万ドル程度だったので、飛躍的な進歩だ。
それと、1か月前に3年間の運用成績が出せるようになった。これと100億円以上のAUMで、とうとうファンドをマーケティングするのにふさわしい時期が来た。加えて、ほぼ全ての世の中の資産クラスが暴落している今年、Numeraiのファンドはそうなっていない。今季の宣伝材料として注目している。
Ansonの方はどうだ？
（CTO）だいたい同じような感じだと思う。以前Fireside chatをしたときにはファンドのインフラをスケールアップすることにひたすら注力していた。AUMが急増したため、運用やシステム上の複雑性が増して新しい資金がさらに増えても対応できるようにした。
あとは採用にも取り組んでいて、新しいフロントエンドエンジニアのDanielが2週間前にjoinしてくれた。numer.ai上にtournamentの新しいウェブサイトができて、Signalsのものも作成中だ。多くのエキサイティングな案件がウェブサイト関連であり、みんなに共有できるときを楽しみにしている。
Q & A
TCが、ユーザとファンド両者の視点で、Numeraiのゴールをあるべき形で達成していると確証を持っているか？
（CEO）TCについて説明してくれる？
（CTO）TCは、真の貢献 (True Contribution)のことで、ユーザを評価する最新で最良の方法だ。CorrやFNCなどの評価指標は、参加者のモデルが目的変数に対してどれだけ予測できていたかという絶対値を計ることしかできなかったが、TCは、参加者のモデル予測値が、他の参加者の予測値とアンサンブルされる中で、ファンドのEnd-to-endレベルのパフォーマンス、すなわちファンド収益に対しどの程度追加で貢献できているかを計るものだ。
（CEO）TCによってやりたいことは、ファンドに最も貢献している人々に報酬を支払うことだ。メタモデルと30%の相関しかないモデルが非常に素晴らしいTCを出しているのを見るととても心強い。
（CTO）メタモデルと相関の低い「普通ではない」モデルがTCが高いように見えるので、もっと参加者に普通ではないモデリングをしてほしいと思う。外部に公開したことはないかもしれないが、ファンド内部でsimulationを行うと、CORRに対して報酬を払う場合と比べ、TCに対して報酬を払う場合の方がメタモデルのパフォーマンスは良かった。
（CEO）その通り。これはあくまで過去データを使ったsimulationだが、それゆえに参加者の行動変容を考慮していない。現実世界では、TCのフィードバックをもとに参加者はTCを向上させるようなモデリングをするので、シミュレーション以上にメタモデルの改良が見込めるはずなんだ。
もちろんTC自体についても研究を行っていて、3つのバージョンの試作をした。
1つ目がSTC (Supreme TC) と読んでいるもので、これは現在ファンドにはNumerai OneとNumerai Supremeという2つのファンドがあるわけだが、それぞれでoptimizerのセッティングが違う。だから、Supreme用のTCが欲しかったんだ。それと60日バージョンのTCだな。なのでファンドの種類 (One or Supreme) x ターゲット期間 (20d or 60d)で計4つのTCが存在している。
今後のTCは、以上4つのTC全てを組み合わせたものが望ましいかもしれない。
面白いことに、多くのユーザにとって全TCを合わせたTCを使うと、パフォーマンスのボラが改善する傾向にあるようだ。Sharpeがより高くなるので、おそらく多くの人にとって良いことだろう。このアンサンブルTCのsimulationはまだ途中だが、いい評価指標になると思っている。TCの改善はまだ研究段階だが、なるべく早く実現して皆にstakeしてほしい。
ただ...様々な複雑な問題点もあって、例えば60dに対しstakeする場合は、ユーザは60日間stakeを解放することができないことになる。Sharpe自体は上がるかもしれないが、3か月unstakeできないことを歓迎するユーザは少ないだろう。そのためまだ研究開発が必要で、新TCをリリースするならみんなにとって利になるものにしたい。
（CTO）もう1つ言及しておいた方がいいと思うのは、自分たちはユーザがより高いTCを取れるようになる手助けをするのが仕事だ。そのため評価指標の改良や、必要なら新ターゲットの開発にも取り組んでいる。
（CEO）先程言及した4つのTCを実現するために、optimizerを新しくする必要があったんだよな。これには多くの時間が取られた。
もう1つ、ヘッジファンドのスケールについての問題もあった。いくつかのモデルは時価総額が小さい銘柄を買い集めることで、自分たちのファンドに貢献してきたかもしれない。ただ、それはAUMが大きい現在のファンドではあまりワークしない可能性がある。現在のTCはファンドのAUMが1億ドルあることを想定して計算されているが、実際には1.25億ドルあり、この乖離は今後開いていくだろう。このギャップに対応したTCを作らないといけない。
（CTO）理想的には、TCが時間を経るごとに進化していくことだ。...ちょっとTCについて話しすぎたな笑
（CEO）Patrickがrocket chatのgeneralにpostしたと思うが、より多くの参加者がTCにstakeしている。参加者が自分のモデルのTCに自信を持ってそうしているなら素晴らしいと思う。個人的には、より多くの人々に信頼される指標にTCをしていかないといけないと思っているし、自分なら現状TCx3にはしないかなと思う笑
NumerconでアナウンスされたBenchmark models, synthetic data, stake-weighted meta modelの順位の表示, Staking 3.0といった機能について、進捗はどうなっている？
（CEO）たくさんの実装予定機能を発表したが、最も大きなアナウンスはNumerai Supremeについてだった。Supremeのファンドのために資金調達するのは簡単ではない...非常に洗練されたプロダクトだが万人受けするものではないし。それでも5,000万ドル以上の額を調達できたので、NumerConでのSupremeの発表は大成功だったと言っていい。
その他の発表事項は、ちょっと後部座席に置いてきた感じになってる...というのは2つのファンドを運営するのはとても複雑だからだ。質問の中でBenchmark modelsが言及されていたな。Benchmark modelsというのは、例えば現在複数のターゲットを用意していて、そのうちの1つはJerome 60だが、もし参加者が運営が用意したJerome60を使ったモデルのパフォーマンスを過去3か月毎週分見ることができたのなら、Jerome60を使ってみようかなという気になるかもしれない。現在はできていないが、そういうことができるようにしたい。適切なインフラの一部として運営内部のモデルシステムを作り出していて、まだウェブサイト上に載せるところまでは行っていないが、今期は難しいけれど近いうちにできるようにしたい。多くの人の助けになると思う。
LBにStake-weighted meta model順位を載せるのも同様だ。非常にワークしているモデルなので、そのstake-weighted meta model予測値を公開するのもいいんじゃないかと思っている。仮にStake-weighted meta modelの予測値が過去3年間に渡って参加者に提供されれば、参加者は自分のモデルのTCをシミュレーションできるようになる。現状TCはforwardでテストするしかないが、その状況を変えることができる。
（CTO）Staking 3.0については自分の方からupdateをしよう。アナウンスしたときから状況は大きく変わった。60d targetのような長いスパンのターゲットを見るようになり、stakingとunstakingのシステムは変わらざるを得ない。TCも始まって、報酬の仕組みへの変更がありうるかもしれないし、Supremeのヘッジファンドも新しくできて、そういった大きな変化が根本的な仕組みを変えようとしている中で、正直今がオンチェーンにstaking payoutルールを置くべきタイミングなのかというとそうではないかと思う。
（CEO）Synthetic dataに関する長いスレッドはあった。Surajから最近Stable diffusionを使ってsynthetic dataを作ってみた的なものを送られて、面白い試みだと思ったが、このトピックはどちらかというと参加者に奨励されているもので、少なくとも今季は運営のリソースを使ってやることではないかと思う。
追加されたターゲットらについて、どのように作られたターゲットなのかの説明は公開されないのか？
（CEO）たいていは違うものに対して直交化されているだけだが、まぁ確かにもっとシェアできることはあるかもしれない。どれがモーメンタムに対して直交化されててどれがされてないか、といったことまで踏み込むつもりはないが、今後ターゲットが増えてきたら自分たちにもっとできることはあるかも。
現在Nomiを超えるターゲットを作ろうとしていて、いくつかアイデアがあるので試している段階だ。Nomiを超えるのは簡単ではないが、いずれ出来たら参加者に共有したい。
モデルスロットが増えるのはいつだ？
（CTO）モデルページがうまくデザインされておらず、50以上、例えば100モデルもしアップロードしようとしたらページはおそらくフリーズすると思う。Upgradeをしたいと思っていて、近く対応したい。
TB200や違ったtargetと期間（20日、60日）のcorrがAPI経由で得られるようにできないだろうか？TCについて運営に頼るのではなく自分たちで研究したい。
（CEO）Jerome60については最近LBに載せたと思うけど、確かにその他のスコアも提供できた方がいいよな。それほど難しくないはずだ。
（CTO）違う時間軸で並列して計算するために、評価機能については大規模な改修を行う必要があった。現在は質問にあるようなニーズに答えられるように思う。
Spearman corrからPearson corrに移行するのはいつだ？リチャードがNY meetupで言ってたよな
（CEO）確かに言った。現在はtarget NomiとのSpearman順位相関を使っているのは知っての通りだ。
あるとき、別のやり方で相関を計算する方法を知った。これはただPearson相関を計算するのではなくて、もっと複雑なものだ。
- Submissionを受けとる
- Rank化する
- 標準化する
- その正規分布を1.5乗する
- 標準偏差が1になるように再び標準化する
- targetとのPearson相関を計算する
こうして変換された予測値は、ただrank化したものに比べ若干TCとの相関が高くなるんだ。だから、Numeraiのcorrを全てこちらに変えようかと思っている。Signalsも含めてな。
Signalsのsubmissionがメタモデルに入ってきたら、tournamentのTCはどのくらい変化するのか？これって大事じゃない？
（CEO）現状、SignalsにおけるTCの計算は、submitされた予測値とメタモデルを比べて計算されており、他の参加者の予測値は一切考慮していない。TournamentのTCはSignalsの予測値を考慮していない。
将来的には、メタモデルにTournamentもSignalsも含めるようにしたいが、難しいところはSignalsはどんなデータをもとに出てきた予測値かわからないため、もしtournamentの「悪い」予測値がそのSignalsの変な予測値を打ち消すことで、TCが向上するような事態も考えられる。
Daily tournamentが60日ターゲットに移行するなら、stake量の変更は3か月かかるってことか？
（CTO）そう検討していたが、UX的にちょっとないなと思って止めたんだ。どちらかというとStaking 3.0のように少なくともより早くstake releaseができるようにしたいと思っている。
（CEO）理想的には、参加者が毎日予測値をuploadすることができなくても、運営側でoverlapping rounds等うまくハンドリングして、参加者はいつでもstakeをreleaseできるようにすることだな。
TC導入によってファンドパフォーマンスの向上が見られているか？
（CEO）TCがないversionのNumeraiはもう存在しないので、正確にはわかり得ない。
参加者がTCに対し最適化を行うなら、TCが相関するもの（Michael Oliverの発表ではFNCだったが）も変わっていくのでは？
（CEO）その通りだな。何がTCと相関しているかというより、TCのhistorical dataを提供して参加者がsimulationできるようにする方が良いと思う。
TCはまだ発展途上なので、現在のTCを最適にする方法について多くを語りたくはないな。
Numerai Supremeのパフォーマンスはどうだ？
（CEO）まだ始まって数か月なので、Sharpeなどを出すには早すぎる。時期が来たら公開できると思う。
SignalsはまだNumeraiにとって大事か？
（CEO）間違いなく。1,000を超えるstake submissionがあり、Numerai全体の1/5のサイズで、SignalsなしのNumeraiはない。非常に大事だ。参加者が持つデータを使ったsignalsを受け取る手段が、我々には必要だ。
Signals参加者に取り組んでほしいのは、FNCとIC、およびRIC (Residual IC)いずれも良いスコアが出せるモデルを作ることだ。どれか１つではなくてな。
Signalsは2年目になり、とてもpromissingだと思っているので、もっとデータが溜まったらメタモデルに入れられるようにしたいね。
友達にSignalsに参加するように呼びかけてくれ笑 Signalsにもっとユーザが必要だ。
(skip)
48:42
On a longer-term Horizon what kind of potential drastic changes to the classic torment are you exploring? Well daily tournament's coming soon. New data also coming soon. New targets coming soon.
54:33
For daily predictions will you need multiple predictions per 24 hours depending on Market time zone? No we're doing one prediction one submission window per day for now.
Daily Compute Liteは月いくらくらいかかるんだ？
（CTO） たぶん数ドルじゃないか？ユーザがどうリソースを使うかによる。
いったんCompute Liteについて話した方がいいか笑 Compute Liteは今自分たちが作っているNumerai computeの新しいバージョンで、特にdaily submissionのためにモデルのデプロイをずっと簡単にするものだ。ユーザがデプロイできるものには、従来のNumerai Computeに比べ制限がかかってしまうが、簡単にすぐモデルをデプロイして提出の自動化ができるようになるのは意味があると思う。
TCとFNCの計算には「dangerous features」も含まれてるのか？
（CEO） ...含まれてるかも！考えてなかったな。いい質問だ。Dangerous featuresとは、過去には非常にワークしていたが、直近になって説明力を失った特徴量群のことだ。もしそれらの特徴量を使って予測値を直交化していれば、特に問題にならないかとは思う。大事なのは、モデル訓練にそういう特徴量を使わないことだ。
フォーラムポストのData augmentationのトピックはなんか役に立ったの？
（CEO） 現状は、我々ではなくユーザ側がやることかと思っている。
Universe拡大の話はどうなったの！？
（CEO） 気づかれてしまったか笑 ユニバースを大きくするとパフォーマンスが上がるという話だったが、リサーチの時点でバグがあったんだ。
Numerai運営はいつ黒字になるんだ？ Break-evenポイントは？支払い可能なのか？
（CEO） いい質問だ笑 いままではNMRをPanteraとかPilychainとかParadigmに売ることで売上を作ってきたけれども、これからはファンドパフォーマンスに応じたfeeという「本物の」売上を出していきたいと思っている。ファンドのパフォーマンス次第だけど、今年は売上ベースで5億円くらい（a few million dollars, could be 4） は出るんじゃないかな...
...えーっと、まぁ8億円 (7 million dollars) くらいコストかかってるんだけどね！
多分来年は黒字になるんじゃね笑
AHAHA
（ここから先は力尽きた。クリティカルなことは言ってなかったと思いますう）
1:03:27
Correlator can changes to the scoring metric be made at regular intervals say twice a year in January and July with minor updates in between? If required this would reduce uncertainty. Yes I think one of my favorite ideas which I learned from watching this this one video on how to design computer games but essentially is to have more predictable road maps um predictable schedules for data releases and changes to the scoring and the payout function and system. I think we'll get there eventually although I think right now we're sort of in the phase where you know we have these ideas on how we can improve right and I think we want to hold ourselves to like if we find something that is much better for everyone we want to release it like as soon as possible. I think the solution to that is like a scheduled like regular interval update system. I think we'll get there eventually. I don't know if we're going to do it like right now but maybe I think eventually we have to do that yeah.
1:06:50
QE any chance we will see core x2 in the main tournament just like with signals? No
1:07:16
TC is murky, can you consider moving TC in-house and using it to create concrete scoring metrics for us? Oh like we make special metrics yeah I think that's something we thought about right it's like we would compute TC internally then we would change the scoring function to like the best approximation of TC using scores that people can actually optimize for but I don't think that's the right thing to do. Yeah the right thing to do is to score on TC even if it's black box.
1:08:42
Restrading how was the medium feature set selected? It’s just a good subset that sort of already has really quite a lot of information in the data so I would say very very good models can be built on the medium feature set like ignoring the other features. Actually there's an incredible presentation at the New York event by Ai_Joe and he basically has a way of filtering out features by looking at the sharp of each feature individually and found that when he drops those features he can make much better models.
1:10:42
Anonymous when 24 7 support? We already have 24 7 support or we try to. Maybe you can give me some feedback on what more do you want to see
1:11:00
Anonymous why not continuous payout multipliers? Do you use these multipliers somewhere in the med model construction? We don't currently use the multipliers in metal model construction but we may in the future. Something we could look into continuous payout multipliers mainly a ux issue I just didn't want people to be
sort of like playing that meta game of like adjusting it by .01 like every week based on that their scores or something. Although the back-end system that we built definitely supports continuous payroll multipliers. Maybe one day we'll get there.
1:11:48
Correlator have you thought about alternative data which might be industry specific and available since past few years? Amazing question Yes so yeah we basically kind of had this rule like we're not going to add data unless it goes all the way back to the beginning of the data which is like 20 years and it better apply to all the stocks in our universe. You know machine learning requires a lot of data and so if you're going to start cutting off you can have data that starts in 2020 and it's not going to be long enough to be useful. We will be releasing new data this quarter and new features. We are very excited about new data sets that might break those you know those same rules that we self-impose.
1:13:58
Anonymous since TC relates to portfolio construction develop another data set that has covariance data so that we can create model portfolio construction as our second step? I like the question. A big thing in Quant is portfolio construction and Numerai isn't about that, it's about making signals but I do think in fact there's something I kind of want to do quite soon which is on signals you could you just upload a weight of a portfolio that you like based on your signals. I don't really think it's very easy to give covariance data for numeri but I think for signals it's probably a good place to let people play with portfolio Construction. Maybe in a few years from now we can find a way to use it.
1:15:43
Will signals submission be daily as well? Yes
1:15:48
Anonymous is Numerai hiring? Are there any positions open to contribute towards daily predictions and the long-term decentralization of everything? We're always hiring and we're always looking for the best people in all teams and all positions so if you want a job here you think that you have something to offer and contribute just email me slyfox.
1:16:59
QE when staking on core J60? I don't think do that. Jerome 60 is just a Target to train on and we think it's kind of a nice one it's sort of neutral in a different way than the other ones so it's worth kind of like checking if it helps to train models on it if you haven't already.
1:18:23
QE any chance staking 3.0 will include rebalancing stake amounts between staked models when 3.0 is released in the next couple of months wink? Yeah I mean I think we talked about that again so like yeah I don't like rebalancing now I think the true answer is just letting you do releases faster so you could do whatever you want. You can rebalance or you can just take it out.
1:18:53
API internal server error no is there a chance we'll get decent error messages in the future? Yes if you're getting API internal server errors please reach out to me or Chris and we will fix those as soon as possible.
1:19:05
Correlator if Numerai could incentivize using AWS credits or providing internal compute resources like GPU that would be cool. How about compute credits for metal winners? I like that actually. We actually spoke to AWS a couple of years ago when we initially did compute and we almost did this entire system where we would give out compute credits as sort of like as part of the payout system but I think we were just not big enough at that point to Warrant them sort of investing a lot of resources into helping us achieve that. I think we are big enough now or maybe we need to get a little bit bigger before we can get like group discounts for AWS credits but I think it's a good idea
1:20:16
Wigglemuse news regarding daily submissions and deadlines? Maybe we can get a semi-persistent row IDs changed weekly so we can use previous days data for time consuming predictions I can see? Yeah maybe. I haven't thought about it much. Yeah, I haven't thought about this. I think I'm really interested in hearing more from you guys about what kind of time consuming pipelines you have on your end so that I can help you around these issues. I'll have to talk to Mike P about the row ID thing. I don't know if I can promise you actually getting the semi-persistent one.
1:21:53
Anonymous V4 data has an extra 141 features 1191 in total compared to in V3 we have 1050. Can you give us some idea on how the new 141 defer from the 1050? Yeah I don't actually know enough details actually myself about that. As a general rule though we're never going to tell you what the data is on Numerai.
終わりに
いや長いわ！ クリプト含め相場に冬来てるんじゃないん！？ みんなめっさ質問するやんけ!! 休めよ!!!
こういう相場だからこそ、Numeraiのようなユニークなクオンツヘッジファンドには注目が集まるのかもしれません。TCが導入され、その指標自体の安定性も微妙な中ですが、来年移行もNumeraiが素晴らしい運用成績を残せるのか、注目かと思います。
Discussion