🕯️

Numerai 2022Q1炉端会議メモ

2022/02/04に公開

機械学習

”STOCKS ONLY GO UP"（株は上がるしかない）と書かれたTシャツを見せつけるCEOと、マクロ的にはベアサイクルだろうと語る笑顔のCTO

この記事は？

NumeraiのCEOとCTOが2022年01月15日に以下のYouTubeに公開した、炉端会議 (fireside chat)の中で、個人的に面白いと思った内容のメモです。

正確な一次情報を知りたい方は↑の動画をご覧になってください。Slidoのvote順の回答になっているため、大事そうな前半に特にフォーカスしています。

注）Numeraiって何ぞという方は、Numerai Japanese Docsをご覧ください
注）私の英語力の問題で以下の内容が正確ではない可能性があります
注）全てのQ&Aを網羅しているわけではありません

Q & A

NOMI以外のターゲット(Jerome, Janet, Ben, etc.)がどのように生成されているか、何か教えてもらえないか？

[0:14] Anything you can tell us about how the targets other than NOMI are generated? (Jerome, Janet, Ben, etc.)

(CEO) ターゲットについて自分たちは多くを語っていないが、分析すれば何かわかるはず。全てのテスト、ライブデータのターゲットをリリースする計画でいるが、そのためにもターゲットに関するより良い説明が必要かもしれない。実際のところ、他のターゲットはギリギリになってリリースしたこともあって社内でも追加ターゲットが何なのかわかっている人は少ない。まぁneutralizationの程度が違うといったような感じだ。

真の貢献 (TC)はいつリリースされるのか？それは自分たち参加者がローカル環境で再現できてモデル訓練に明示的に使えるものなのか？

[1:16] ]When will True Contribution be rolled out? Will that be something we can replicate or train explicitly towards locally? It is rolling out.

(CEO) 既にリリースされていて、ウェブサイトで見れるだろう。TCが0の人もいるが、それは単に自分たちがまだ計算できていないだけだ。Stakeしている人に関してはほとんど終わっていると思う。TCの計算にはとても時間がかかるんだ。TCについては説明をdocsに比較的すぐ載せるつもりでいるが、TCは、過去20ラウンドを振り返って、あなたの提出があった場合のメタモデルと、なかった場合のメタモデルを使用した時にどのくらい自分たちの運用が上手くいったかを計算している。

TCの面白いところは、corr, mmc, fncいずれとも異なっていることだ。これには、「良いモデル」が何なのか考えさせられる。例えばGuitargeekはLeaderboad上位におり、corr, mmc, fncいずれも非常に高い。そしてTCも高いんだ。一方、Leaderboard上位でもcorrだけ高く、他はそれほどない参加者もいる。TCは、自分たちが運用に使っている実際のOptimizerを使って計算するので、真の貢献度がちゃんと計算できていると思っている。

TCは始まったばかりだが、自分たちは正しい方向に進んでいると思う。ユーザの真の貢献度が図れることで、よりインテリジェントなメタモデルができるだろうし、とてもエキサイティングだ。

(CTO) Local環境で訓練に使えるかについてはどうだ？できない、というのが答えだとは思うが。

(CEO) 実際のOptimizerを使ってTCを計算する都合上、参加者のlocal環境で再現はできない。それでも、参加者全員が、Numeraiに貢献できるようなモデルを訓練するための何かを提供したいと思っている。Diagnosticsの一つとして、MMCの推定値を現在出しているが、そんな感じでTCも出せるようにしたい。その場合、TC推定値を計算する関数はもちろん提供する。

ユーザから見えないところで、Numeraiに起こった面白いことは何かあったか？例えば、ポートフォリオoptimizerやデータベンダーについて。

[8:16] Can you talk about fun/challenging stuff that happened at Numerai that is invisible to us (i.e. not user-facing). Like portfolio optimizer, data vendors, etc.

(CEO) ...ざっくり？笑　色々なことをやっているけれども、TCの検討過程で思ったのは、Numeraiにとって参加者数を増やすことはもうかつてほど意味はないかもしれないということだ。ユーザはcorrを最大化しようとするが、TCとcorrが違うことがわかってきたので。

自分のData Scienceの友人をTournamentにどう誘えばいいか？NMRがBTC建てだと2020年に90％下がり、2018年からは99％下がっている。All-Time-Lowから2倍だ。

[9:31] How to convince my DS friends to join the tournament? When NMR/₿TC now is -90% from 2020 highs and -99% since 2018. And just x2 since all time lows.

(CTO) クリプトのプロジェクトにかかわるときは、長期的な視点を持ってほしいかな...

(CEO) NMRに限らずBTC建てだと世の中の多くが99%下がっている。BTCを一部持って、Numeraiをやったらポートフォリオの分散化ができるんじゃないか？笑

Signalsで新しいターゲットを追加することは検討しているか？

[11:26] Any chance we'll see additional targets in Signals this year?

(CEO) 新しいターゲットというより、TCをSignalsにも導入したい。Tournamentとの融合を図りたい。TC stakeも実現したい。

今年の計画はどんな感じだ？

[13:04] What are your plans for 2022?

(CEO) まだ考えていることも多いが、なるべく早くもっと資金調達をしたいかな。自分たちが持っているアルファで5億ドルくらいはいけると思うんだ。

もう一つは、何か別のプロダクトを持ってもいいのではと考えている。投資家の要求は多彩だ。現在よりもハイリスク・ハイリターンのプロダクトを提供するのも良いかもと考えている。

Signalsの参加者数には満足しているか？Signals参加者を更に増やすためのインセンティブを考えているか？

[15:28] Are you happy with the signal participation vs. classic? Any plans to incentivize signals further?

(CTO) 昨年からSignals参加者数は10倍になった。良い状態になっていると思う。Signalsについて次にやらないといけないのは、やはりTCを導入して、Tournamentとの親和性を上げることだ。

2022年度末までに実現したいHedge fundのAUM (Assets Under Management)はいくらだ？numerai.fundでAUMが見れないのはなぜだ？

[16:40] What is the target AUM of the HF that is expected to be achieved by end of 2022. Why is AUM not visible on numerai.fund?

(CEO) AUMは見えるようにすべきだな。現在は**51.6 million dollar（60億円弱）**だ。

前記事にしたときは45とかだったので、ちょっと上がっている。投資家が増えたからだ。とはいえHalf a billion (5億ドル = 600億円弱)あるといいよな。

投資家と話していてよく問題になるのは、SMA (Separately Managed Account)についてだ。Numeraiには投資したいが、資金自体はSMAに置いておきたいということをよく言われる。SMAしかやらないという投資家は非常に多い。SMAはやることが多く大変なのでやってこなかったが、必要な時期かもしれない。

(CTO) ということでTrading Engineerを募集中だ！

新データ由来のメタモデルは、旧データ由来のものよりも良くなっているのか？

[18:52] Does the MM generated from models submitting with new data outperforms the MM from old data? What is the boost provided by new data (in live) all else equal?

(CTO) 旧データと新データでメタモデルを分けるようなことはしていない。新データリリース以降メタモデルは改善しているし、Optimizerも改善している。

Numeraiがスタートアップとして何か面白いニュースやマイルストーンでシェアできるものはあるか？新しい資金調達とか、投資家からのフィードバックなど？

[20:39] Is there any interesting news or milestones for Numerai as a start-up that can be shared, such as a new funding round, or interesting feedback from your investor?

(CTO) 規約で言えないことは色々言えないことがあるけど、エンジェル投資家の1人から電話をもらったことがある。彼はテクニカルにとても詳しくて、自分たちのパフォーマンスに感嘆して投資をしてくれている。電話では、numeraiが成長していくことを喜んでくれて、長期のプランを聞いてきた。具体的には、いつpublicになるのか、もしそうならもっと金を出すが？という内容だった。ハイリスクハイリターンのプロダクトについても興味を持ってくれた。

(CEO) 現在の自分たちの規模だとpublic companyになるには金がかかりすぎる。300M AUMまで届けば自分たちは利益が出せると思うし、以降は資金調達が必要なくなるだろう。公に資金調達していくよりは、もっとコアな問題に取り組んだ方がビジネスではいつも良いように思う。

メタモデルのパフォーマンスをラウンド毎に見ることができるようにならないか？

[25:27] Any chance we also get to see the metamodel performance results per round on the website? I am just super curious

(CEO) 確かにメタモデルのパフォーマンスは公表していなかった。TC導入の際には特に役立つかもしれない。

(CTO) Learderboardにメタモデルを載せたいとはずっと思っている笑

(CEO) MMCはTCを表現するだろうと思って導入したが、実はそうではなかった。TCはもっと複雑なものだった。

(CTO) TCの議論から将来のpayoutがどうなるか考えてみると、メタモデルDAOのようになるかなと想像している。予測値の集合であるメタモデルのパフォーマンスから利益を配分する形だ。もちろん、あくまで将来像の1つだが。

Signalsにおける直交化が今一つあいまいだ。変更する予定はあるか？

[27:38] Currently, neutralization in Signals is a bit obscure. Do you have any plans to change this?

(CEO) TCへの変更によってよりあいまいになる。いや冗談だ笑　Diagnosticsなどで、より参加者にクリアにしていくことには注力していく。

(CTO) 自分たちの仕事の1つは、参加者のパフォーマンスを上げる手助けをしていくことだしな。

Hedge fundのパフォーマンスがNMRと相関するのはいつだ？

[28:46] When will the HF's performance be correlated to NMR?

(CEO) 多くの人がそう望んでいるのは知っているが、様々な規制があって難しい。会社としてNMRを購入できなくなるリスクもあり、その場合、NMRはコインベースなどあらゆるところに拡散していってしまうだろう。

NMRはあくまでstakingのためのものだ。もちろん、siba inuのような何のバリューもないコインがNMRより数百倍の価値がつくのは正直驚きだが、長期的にはそうならないと思っている。

NMRがなくなったらNumeraiは何をするのか？

[31:16] What will Numerai do when NMR runs out?

(CEO) NMRはなくならない。自分たちはなくならないように動く。今のところ言えることはこれだけだ。

NMRがhedge fundのパフォーマンスと相関すべきではない理由を教えてください。

[31:48] Plz share thoughts on why NMR should be decorrelated when the HF's perf has no bearing on the token.

(CEO) NMRは自分たちのファンドへの投資ではないし、誰もそう思ってはいないと思う。一方で、NMRがDogecoinやShibaと相関すべき理由もない。NMRの価格はあくまで需給で決まるべきものだ。そして、自分たちは需要がリアルであるように改善を続けていく。今のところ、多くのNMR payoutは、再stakeされる。それはNMRの循環としていいことだ。

5, 10日ターゲットのようなより短い期間のターゲットを追加して、参加者にターゲット軌道を最適化させてみては？多様化とリスク軽減に良いように思う。

[34:34] How about adding shorter horizon targets like 5 or 10 days to let us optimize trajectory of targets. Good for both diversification and risk reductions. I

(CEO) 必ずしもそうは思わない。参加者のシグナルが週ごとにころころ動くことは運用上望ましくない。メタモデルの運用結果がCORRと相関していたり、TCと相関していたり、時期によってコロコロ変わるようになるのは、入れ替え期間が短すぎるからだ。

700k NMRがPanteraに売却され、120kが1人のユーザ（Crowdcent）によってStakeされている。モデルのクラウドソースという理念は17％が1人によってStakeされている以上破綻している。それに他の参加者のpayoutに悪影響を与えている。

[36:20] Of 700k NMR sold to Pantera, 120k is staked by a single entity (Crowdcent). Defeats crowdsourcing when 17% is staked by one. Also it eats into everyone's payouts.

(CEO) 確かにSignalsにおいてCrowdcentの存在感は大きい。Tournamentだと最もStakeしている参加者で5％くらい。

(CTO) 自分がPayoutのデザインしたとき、stakingの意味は、ユーザの真の自信を表現するだろうという意図があった。Crowdcentはとても自信があるのかもしれないが、現状は確かにやや歪んでいるかもしれない。彼をbanするのが解決策だとは思わない。ユーザがより真の自信を表現できるように、NMRのマーケットがより良いものに発展することを願っている。

Crowdcentはそれに素晴らしいコミュニティメンバーだぞ。

NMRの優先順位が低いようだ。トークンの利用価値を上げる計画は何かあるか？

[39:07] NMR has taken a back seat in priority. What are the plans to increase the utility of the token?

(CTO) ご指摘通りで、NMRは今は優先順位において目立たない位置にいる。過去2年のフォーカスは会社の成長とヘッジファンドをワークさせることにあった。今年からしっかり、報酬体系とStakingの変更について取り組んでいくつもりで、4月のNumeraiconで大きなプレゼンをする予定でいる。自分たちのチームは現在とても強いと思うし、これからはNMRに関する優先順位は高い。

Example predictionに支払うのをいつやめるつもりだ？

[41:05] When do you plan to stop paying for the example prediction?

(CEO) Example modelにはTCがほとんどないので、TCの導入によってexampleへの報酬はなくなっていくだろう。

3月に予定されているデータ拡大について何か詳細はあるか？ターゲット数は増えるのか？

[41:45] Any details about the data expansion now scheduled for March? More targets?

(CEO) テスト期間のターゲットと、いくつかの良い特徴量が数個追加になる。勘違いしてほしくないのは、自分たちは参加者のそれまでのモデルをあきらめてほしいわけではない。guitargeekが使っているのはレガシーデータだとbioに書いてあった。guitargeek2は新データのようだ。このようにするのが良いことのように思える。

テスト期間とライブ期間のパフォーマンスに個々のモデルで強い相関はあるのか？

[43:28] Do you see a strong correlation between test and live performance for individual models?

(CEO) 参加者は必ずしもテストとライブで同じモデルの予測値を提出するわけではないので、必ずしもそうなっていないように思う。

新しいデータリリースは現在のパイプラインとも適合するか？

[44:34] Will the new data release be compatible with the current pipeline?

(CTO) めっちゃ適合するぞ。今のデータリリースの状態が完ぺきではないのは理解しているが、状態は良くなってきていると思う。以前は週末に何かとイベントが起きてしまっていたが、これからは週末はノンイベントにしたいね笑

3月のリリースではまたテストとライブが分かれているのか？

[45:25] Does the march release also include the split in live and test predictions?

(CTO) そうだ

現在のモデルスロット数を50以上にする予定はあるか？もう使い切ってしまっているんだけど

[45:38] Any plans to expand the available model slots to more than 50? I'm currently using all of mine.

(CEO) 何人が使い切っているんだ...?

(CTO) いずれは無限にしたいと思っているよ。

ガスにいくら払っている？トランザクション手数料としていくら$WTFをクレイムできる？

[46:28] How much gas spent? How much $WTF were claimable from transactions' fees?

(CTO) ガス代は相当払っている...昨年で200ETHくらい？

(CEO) やば

Numeraiは内部でS&P500ポータブルアルファプロダクトを作ろうとしたりしているのか？

[47:19] Will Numerai internally create or find an investment partner/internally managed pension fund to create a S&P500 portable alpha product?

(CEO) えーっと...笑　Medium postでは、ロングショートやマーケットニュートラルを多くの人が理解していないことを踏まえてロングオンリーの結果も出した。ラッセルやS&P500をアウトパフォームする結果だったので、多くの人からNumeraiのロングオンリーETFを出すべきではないかという意見をもらった。ちょっと考えてもイイかなと笑

Signalsの直交化ファクターをリリースする予定はあるか？

[50:08] Do you have a plan to release neutralization factors of signals?

(CEO) 自分たちのデータセット、つまり自分たちの全てを渡すことに匹敵するのでNoだ。SignalsはTC導入で大きく変わることになり、そうなるとより明らかになるだろう。

Stakingメカニズム (at risk bit)に何が起きている？より重複したトーナメントのための準備か？

[51:53] What is happening with the staking mechanism (the at risk bit). Is that in preparation for having more overlapping tournaments (like 1 every weekday?)

(CTO) 小さい変更をいくつか行っている。Stake valueではなくat riskに名前を変えたのは気づいた人も多いかもしれない。この値がpayoutの計算に使われるスナップショットだ。Stake額に関する混乱がしばしば見られた。現在のところStake額やpayoutに影響する要素がいくつかあるので、唯一のstake額が確認できるようなUIにしていこうとしている。ステーキングコントラクトにも取り組んでいて、オンチェーンですぐ変更ができるようにしようとしている。週次ではなくてリアルタイムのものにしたい。詳しくはForumにポストするつもりだ。

Daily scoreが-10％から+10%のように大きく変動する。これは一部の世界市場が閉まっている時間に起きていることか？

[56:08] Sometimes the expected payout has huge swings, like from -10% to +10% in two days. Do those swings happen when parts of the global stock market are closed?

(CEO) わからない、というのが回答だが、そういうこともあるかもしれない。

Numeraiのcompute solutionを他のクラウドプロバイダに拡張する予定はあるか？

[57:36] Any plans on extending your compute solution to other cloud providers? (noticing a lot of proposals in the forum about compute now).

(CTO) Numerai computeは上手く機能していると思うが、どちらかといえばコミュニティ主導でやってほしいことではある。自分の仕事のフォーカスは別にあると思っている。

Signalsのデータ検証プロセスはどんな感じだ？TickerマップのYahoo tickerは更新されていない。信頼できないように感じる。

[59:20] What's the data validation process like with signals? Recently the Yahoo tickers in the ticker map weren't being updated. This erodes confidence in the tourney.

(CEO) その通りだな...いまのところ会社に人が少なすぎる。Liamが色々なことをSignalsにおいてやっていたが、彼には別のことをやってもらうので...。今年Signalsにはもっと時間を割いていく。もっと人も雇う。

ずっと新しいことをやってきたので、今年はよりメンテナンスに時間を割くエンジニアリングタイムにしようというAnson (CTO)の考えに賛成する。物事をもっと単純化していきたい。

hedge fundの顧客を増やすことにどれくらい注力しているか？伝統的なロングショートファンドに比べて注目されているか？

[1:01:36] How focused are you on getting clients for the hedge fund? Is it easier to market this kind of fund vs more traditional long/short ones?

(CEO) Market neutralを理解している投資家ももちろんいるが、大きな投資家でも理解していない場合もある。とある大学はトークンとVCにしか投資しないと明言している。自分たちはクオンツに昔から投資してきた投資家と話をすることが多い。取り組んでいるところだが、長いゲームになる。

Signalsの直交化ファクターは変わっていくのか？

[1:03:25] Are the features we’re neutralized against in Signals changed? If so, how often?

(CEO) Signals開始から変わっていない。新特徴量追加に伴って変えるべきなのかもしれないが。

(CTO) 特徴量が増えれば増えるほど大変になるしやらないかな。

TCに関するDocsはいつ？

[1:04:25] When docs updates on TC?

(CEO) すぐだ

マクロとブル・ベアのサイクルについての考えを聞かせてくれないか？

[1:04:42] Thoughts on macro and bull/bear cycle? Just curious about your opinion.

(CTO) 休暇中に本を読んだんだ。ベアサイクルに向かっているんじゃないか？自分は経済学でもマクロの専門家でもないけど。FEDは金利を上げないといけないし、無限のお金を市場に供給できない、だからアルファが必要なんだと人々が気づく時がきた。クリプトは別かもだけど笑

NumeraiのデータをSignalsで見れるようにならないか？

[1:06:15] Any chance we'll see Numerai data in Signals?

Validation scoreは酷いがLiveスコアは素晴らしい参加者がほとんどに感じる。時間が経つとValidationに近づいていくのか？Validationはどうやって作られているんだ？

[1:06:27] I think everyone has a model with awful validation but amazing live performance. Will time bring the performance closer to the validation? How validation created? In the end, its just an estimate. When TC comes things will be a bit different.

(CTO) Validation期間が将来について何か表現しているわけではない。なので、Validation期間で良かったからと言って将来もいいとは限らない。

(CEO) Validation期間を前半と後半に分けたとき、自分の予測値がどれだけ悪くなるか見るのはいいと思う。

どうやらTCについて、どうやらメタモデルとの相関が0.5以下である必要があるらしいんだ。なので、validation期間でcorrを上げるより、メタモデルとの相関を下げることが大事かもしれない。

Stake-weighted test correlation, proportion staked on smds models, metamodel sharpeなど、トレンドについて最新情報はあるか？

[1:09:58] Can you give an update on the trends? like stake weighted test correlation, proportion staked on smds models, metamodel sharpe. Right now its going up a lot but the future will be interesting.

(CEO) Stake weighted testのsharpeは改善していっている。現在やや改善が停滞しているが、TC導入によって常に改善されていくことを期待している。去年のリターンは15.8%で、マーケットニュートラルファンドとしてはとても良かったし、世界一のクオンツヘッジファンドかもしれない。ただ、自分たちはこれ以上を望んでいる。

(Signalsで)データの一部を使用することを考えているか？

[1:12:28] Have you considered having subsets of data?

(CEO) 確かに、例えば参加者がユニバースの一部、例えばエネルギーセクターの予測に長けていたとき、TCがどうなるのか気になるところだ。将来的にはありかもしれない。

Unstakeに関する変更はいつだ？

[1:16:55] When is the targeted rollout for de-staking changes?

(CTO) 取り組んでいる途中だ。近くアナウンスを出したい。

小さい特徴量セットを生成する方法の詳細を教えてください

[1:17:25] Please give details on how to generate small feature set my Michael Oliver.

(CEO) forumにあるはずだ。特徴量の一部を使ったもの、forumにあるものに限らないが、いいモデルを作るのに非常に有効だと思っている。

欠損データはどういったものになる？

[1:19:00] What will missing data look like? It could look many different ways but we are going to try our best to give all the data. We don’t want to paper over data. We will communicate it to you all.

(CTO) データを購入している都合上、もちろん欠損値が出ることがあるかもしれないが、今のところ欠損データが生じたことはない。生じたらもちろん参加者にコミュニケーションを取る。

TCは全てのStaked予測値に対して計算されるのか、それともTB200か？

[1:20:11] TC would be calculated against all stake predictions or just TB200?

(CEO) TB200は、TCについて何か示唆があるかと思って表示している。例えば、FNCが高く、CORRが高く、TB200のfeature exposureが低ければ、TCが良くなる、といった具合だ。

TCがどう計算されるか説明した方がいいな。基本的にはLeave-one-outだ。

あるサブを全体の1％分のstakeをしたものとして、stake weighted meta modelに入れる。ここで生まれたメタモデルのSignalを元にOptimizerが現在のポートフォリオを使って取引を行う。そのサブを入れずに同じことをする。このシミュレーションを繰り返して、対象のサブがいるときといないときでリターンを比較してTCを計算する。なので、CORRともTB200ともTCは違う指標だ。

Signalsのpayout factorが減少するのはいつだ？

[1:24:04] When will signals payout factor start to decrease?

(CEO) TC導入によって、報酬はTOPの人たちにとって素晴らしく高いものにしたいし、payout factorは減少する必要はないと思う。

(CTO) ユーザがCORRを改善したからと言ってNumeraiが運用益を出せるようになるわけではないので、SignalsでもTC導入を早く進めたい。

(CEO) 同じモデルでも違うTCが得られることがある？その通りだ。シミュレーションの過程である程度のランダムさがあり、その影響がある。

(CTO) TCはまだ初期段階で、今後改良されていくものだ。

Richard (CEO)はファンドにとってどれくらい重要なんだ？Richardがいなくなったらどうなる？

[1:28:02] How important is Richard to the fund? What would happen if Richard went missing?

(CTO) いなくなったら悲しいな笑いなくなっても自分たちのアルファはなくならないと思うが。

(CEO) いなくならないよ

自分のモデルでTCが一番高いのは決定木系のアンサンブルなんだが、心配すべきか？

[1:28:50] My highest performing model in terms of TC is a tree ensemble, should I be worried?

(CEO) いやそんなことないんじゃない。一般的なモデルだからか？

終わりに（訳者感想）

TC祭りでしたね！今まで~~NMR建てだと~~Numeraiで稼ぐのはさほど難しくなかったと思いますが、TCが本格的に導入されたらそんなことなくなる気がしますね...冬の時代が来るのか、一部の強い人にgold rushが来るのか。

Happy Numerai!