マケデコアドベントカレンダー特別企画 マケデコ 2023年末座談会
マケデコアドベントカレンダー2023の特別企画として、マケデコ運用メンバーのtomo/yoshiso/UKI/hio、年末座談会を開催しました。各自一枚のスライドを用意して、それを眺めながら、今年を振り返る企画です。ぜひお楽しみください。
ぜひお楽しみください。
マケデコイベント振り返り
最初の一枚目は今年の振り返りを兼ねて、開催したイベントの振り返りをしました。
イベントの参加クラスターについて
tomo: ざっと眺めてみて、まずどうですかね？
UKI: 客層的にも、参加人数が一番集まっているのがディープテック領域なんですね。より詳しくニーズを知るには、なにかアンケートとか取ればいいんですかね？
tomo: 以前、セミナーアンケートとっていたのですが、回答率が悪くてやめちゃったんですよね。集計するのも結構たいへんなので。
UKI: （観客の層として）個人投資家の方が聞いているのか、実際に運用に関わる方が聞きに来ているのかは気になりますよね。
tomo: 参加人数はABCD Forecast/DeepPortfolioの次は駄犬さんのイベントが多くて480人。感覚としては300人くらい常に来てくださる方がいて、あとはテーマごとに上ブレがあるのかなーと思っています。
hio: ChatGPTイベントは時事ネタのような形で来てくれた方が多かったですね。
tomo: ChatGPTイベントは公開した初日に200人くらい一気に登録があった。これはすこしクラスターが異なる人にリーチできたのかなーと思いました。
UKI: ABCD Forecast/DeepPortfolio
UKI: ABCD Forecastで性能を上げようと思ってかなりの時間を割いて取り組んだんですが、結局うまくいかず諦めてしまいました。再現がうまくできないです。おそらく関数F周りでなにか欠けている情報があるかも。
tomo: 最先端技術のイベントがなんやかんやいって一番人が集まる。興味ある人が多いのだと思う。今年の一番もABCD Forecast/DeepPortfolioの勉強会でした。
hio: JQuant APIリリースイベント
hio: J-Quants APIのリリースが今年の4月だったというのに驚いています。ハッカソンとかあとオプションのイベントとか、J-Quants APIに関わるイベントも良かったです。
tomo: ハッカソンは審査しておもしろかったよね。技術レベルという点では、本当にはじめて触りましたという人が多かったのですが、逆にそれが良かった。発想とかもすごい新しくて。ただ、準備にすごい時間かかったのですが、参加人数は一番低かったのですが 笑
yoshiso: いもすさんAMA
yoshiso: 僕はいもすさんのAMAとかABCD Forecast/DeepPortfolioがやはり面白かったですねー。
tomo: UKIさんとyoshisoくんが楽しいとなると、来年はディープテック掘りますかー
UKI: そっち側でいきます？
tomo: 今年はプロマネのイベントやってみたりとか、まだどのあたりのイベントが刺さるかわからなかったので、いろいろやってみたんですよね。どのへんにニーズがあるのかなーと思って。
yoshiso: いろいろなテーマで今年はやってましたよね。
tomo: 逆にいろんなトピック扱っているのが嬉しいって人がいるかもしれないですよね。なんか知らない領域の接点になっている気がして。
yoshiso: 確かにそうですね。
準備が大変だったイベント
tomo: 準備が大変だったイベントはやはりABCD Forecastのやつですね。あれ、会社の許可も必要だったので、事前ミーティングをいもすさん・いとうさんの会社にどう説明するかをやったりして。マケデコは有志の会なんで、特にビジネスは関係ないですよー、みたいな。
yoshiso: そういうのをやってイベントしているのは、逆に価値ありますよね。
tomoの振り返り
生成AIの使い道は？
tomo: 11月/12月が結構忙しくなって、ちょうど12月なので、今後マケデコのイベントを企画する上で、いろいろ意見を聞きたいというのを目的にまずは振り返ってみみました。11/12月以外は一ヶ月に一回企画をやって、ちょうど10回。やはりディープテック系とか駄犬さん・いもすさんのAMAとか独自色があったのではないかと思っています。
あと、今年を振り返ってみると、生成AI凄すぎというのはやはりあった気がします。いままで、仕事でも一度言語モデル触ったことあるんですが、到底まともにうごいてくれない。例えば、センチメントを推測するにしても、文脈とかまったくよんでなくて、ほとんど単語の距離で計算してる感じになるんですよね。それはそれでいいんですか。
ただ、ChatGPTはバニラでの性能がすごいので、まじで特定の領域では、いままでの苦労とかテクニックってなんだったのという感じになる。ただ、実際に運用に使うとなるとバックテスト難しすぎ問題はありますね。
UKI: 本当にバックテストが難しい。
yoshio: まじで難しいですね。
tomo: GPT4-tourboとか最新のモデルだと、学習期間が2023年4月まで伸びているから、実質モデルがしらない期間が半年しかない。ただ、実際に金融機関のアンケートとか見ると、開示資料の一次スクリーニングとかいわゆる新卒にやらせる仕事はChatGPTをかなり使い始めている。来年さらなるブレイクスルーが起きるとなると、もしかしたら地頭は自分よりいいものになるかもしれない。そんなときにみんなどういう使い方を考えているか知りたいですね。
UKI: 自分よりってことですか？
tomo: 自分よりです。
UKIさんの考える生成AIの使い道
UKI: 僕の考えだとChatGPTにαを発見されるより、Botをつくるのに使いたいですね。
yoshiso: コードを書いてもらうって感じですか？
UKI: そうそう。例えば、アビトラでも数円の利益だと手を動かすコストがあるから、なかなか拾いに行けないじゃないですか。それが生成AIの頭が良くなってアシスタントレベルでBotを作れるようになれば、そういうのをガンガン拾いに行けると思うんですよね。利益の損益分岐点が変わるので。如何に早くスピーディーにリリースさせるか、というのを考えると思います。
あと、今年は松尾研が開催してるLLMの講習をうけて、LLMのファインチューニングをやってみたんですよ。Botのコーディングを教え込もうと思って。ただ、ファインチューニングは難しい。ぜんぜんうまくできないんですよね。僕は講座を受けたときにBot作成のアシスタントをつくりたかったんですよね。ただ、ファインチューニングが難しくて頓挫してしまいましたね。
tomo: hioちゃんはどうですか？コパイロット使っていると思うけど、どういう感じ？
hio: コードって自分で書いていると疲れちゃうじゃないですか。これが24時間書いてくれるようになるといいですよね。終わったものをレビューして、ちょっと直して、また生成AIがコードを書いてくれる。こういうサイクルをつくることができれば、生産性がバク上がりしそうだなとは思いますね。
tomo: Github Copilotが得意なのはどのあたりなの？
hio: 他のデータと互換性を持たせるためにオブジェクトつくりとか、テストケース書いている時にAPIの返り値を数値計算でやるときとかはガンガン補完してくれますね。その辺りは、内部の数式を書いてとか、細かいファンクションレベルのことは全然頼めるんですよ。ただ、全体的なディレクションはできないですね。
tomo: そのあたりはCopilot Chatに頼んだほうがいいのかもね。
hio: 個人的には分析用のプラットフォームをすごく作りたくて、生成AIがそのあたりをガシガシ作ってくれたら嬉しいですね。
tomo: yosisoはどうかな？
yoshiso: 僕もどっちかというとUKIさんのような使い方を期待している面が多いですね。専門的な知識や分野は人間が強いと思うので。アイディアを出すのではなく、そのあたりの執行する部分とか手数を増やす部分のサポートがあったら嬉しいですね。ただ、いまは全然使ってないんですよ。やはり、自分のコードを外に出したくないというのが大きくて。なので、その辺りでブレイクスルーが起きるまではモチベーションはないですね。
tomo: 確かにコアの部分を守るという意味ではデータが送られるのは嫌だよね。
UKI: ChatGPTから投資アイディアが出てくるんじゃないか？というのは僕は期待してなくて、要するに生成AIも確率分布の話なので、どこかで見て学んだ内容を持ってくることが多いんですよね。創発してるんじゃなく。そういう特性上、補助的な使い方はできても決定的なアイディアがでるものだとは思ってないですね。
例えばChatGPTにビットコインのトランザクションの処理をPythonで書かせようとしたんだけど、文献が少ないせいか全然書けなかったですね。
yoshisoの振り返り
ABCD Forecastの話
yoshiso: 仮想通貨とNumeraiのモデルが今年は良かったですね。NumeraiはNRMがだいたい2倍くらいになっている。
UKI: NMR自体がもっとあがってほしいですよねー。
yoshiso: そうなんです、そこがしょっぱいんですよね。仮想通貨はいまで大体55%から60%くらいですね。
UKI: 素晴らしい、素晴らしい
yoshiso: 仮想通貨がもうアセットのキャパシティ的に無理なんで、株とマクロの戦略をやろうとしてるんですよ。株のロング・ショートを夏前くらいに春先から作っていたやつをずっと監視してて、9月、10月は調子良かったんですけど、リリースしたらちょっと苦戦中です。まだ、こっちは大きい利益はでてないですね。ABCD Forecastもテストしてみたけど、これも厳しい感じですか。
UKI: ABCD Forecast無理でしたねー。
tomo: みんな無理なんだ。
yoshiso: ちょっとここしっかり話しましょうか。多分、Fの関数の設計がたぶんあれはスペシフィックな変換規則になってる、たぶん特殊な関数になってるんですよ。ランダムよりかは全然よいポートフォリオが組めそうなことは確認したんですけど、運用可能なシャープの戦略にできるかというと全然そんなところまでいかない。Fの関数をどう作るかの問題な気がしていて、うまくいっていないですね。
特定のペアに対して有効な特徴量のフィルタリングとかしないとうまく行かない気がするんですよね。データバリエーションの仕組みと特徴量のフィルタリングみたいなところを本当にうまくやらないといけなそうな雰囲気をひしひしと感じており、すこまで突っ込むことができず、断念しましたって感じです。
UKI: 逆行列で戻すじゃないですか。このときに互いのモデルが相関してしまう問題があるんじゃないかと思っていて、僕もここで無理だなと思ってあきらめちゃったんですよね。頑張って、ペアの特徴量が独立になるように頑張っても、逆行列で戻す時にぐっちゃになるじゃないですか。ここが問題になるんじゃないかと。
yoshiso: そうですよね。結局一つ一つのマトリクスでは、行列の中に悪いモデルがあると、全てが壊れる可能性がありますよね。一つ悪いペアができたとき、全部のアセットの方向の予測に影響はよろしくないストラクチャーなんですよね。個人的には、リニアにコントリビューションを分配して平均するアーキテクチャの方がよいんじゃないかと思った。たくさんのペアができた後に、その平均を取るみたいな。ペア以外のアセットが予測に影響をおよばないようにしたほうが精度がでるんじゃないかとおもった。
UKI: 僕もそこで諦めましたね。
ディープ系の話
yoshiso: ディープ系はいろいろトライアルしてたんですけど、計算時間はめちゃくちゃかかるんですけど、GPUもクラウドでなかなか使えなくなるし、あんまり進まなかったですね。
tomo: ディープ系の新規モデルは何を試したの？トランスフォーマー系？
yoshiso: トランスフォーマー系は全然試してないですね。データを増やす系の戦略ばっかりやってますね。いもすさんのときに話していた、データ増やす戦略をいろいろ試してみますね。ただ、データが重すぎて、しっかり評価するためにはめちゃくちゃGPUが必要になったんで、アーキテクチャ設計して、さぁ、やるか、という時になって生成AIでGPUが使えなくなって、今年は悶々としてました。やっと重い腰あげて、会社作ったので、GPU買って、ぶん回すつもりです。来年はJ-Quants APIのファンダメンタルズの詳細データとか使っていろいろやってみたいですね。ちょっとそのあたりの知識を勉強したい。
tomo: yoshisoの運用規模だとマルチアセットでいろいろやったほうがいいもんね。
yoshiso: そうですね。シャープをあげたいですね。
tomo: 為替はどうなの？
yoshiso: 為替はちょっとだけですね。今、ライブで回しているやつがあって、様子を見てます。ただ、為替はやはりシャープ落ちるかなーとおもっていて、まずは株が一番優先かなーと思っています。
tomo: 来年は円高傾向になるだろうから、米国株のエクスポージャー持つの辛そうだよね。日本株で強いモデルつくるのが一番良さそうだよね。
yoshiso: 確かに。
UKI: 為替ヘッジって戦略にいれてます？僕も考えたことあるんですけど、難しいんですよね。
yoshiso: 僕は、ヘッジではないですけど。150のタイミングでドル建て資産全部処分したんですよ。運用で使うもの以外は全部円と金にしてしまいましたね。FXで円ヘッジは金利が辛すぎるので、円に戻すという感じにしました。
hioの振り返り
Numeraiのモデルの話
hio: 僕はNumeraiだけなんですけど、だいたい100%くらいになりましたね。倍になってて。
tomo: 素晴らしい
hio: Numeraiは自分の中では札束で殴りにいく戦略してますね。GPUぶん回していく感じ。大きいモデルをつかっている人がいないようなので、自分のモデルは学習に3日くらいかかるんですけど、全ターゲットにモデル作って、アンサンブルしまくるみたいなアプローチで、シンプルですが、そこまでやっている人はいないみたいでGPUぶん回すのがワークしてますね。
UKI: それはディープ系ですか？
hio: ディープではなくLGBMですね。ただ、estimaterを増やしてA100で7分とか。シードも20個とかでやってみます。Numeraiはコードベースを作ったので、特徴量を変えてぶん回すのもすぐできるので、マシンパワーが足りてないので、最近はメモリとの勝負をしてますね。
yoshiso: 僕はシンプルめなモデルを制約付きでやってますね。
hio: 今年は反省としてはJ-Quants APIさわれてないので、今年はそこで手を動かせてないのが反省ですね。来年は手を動かしたいです。
UKI: hioさんはアドベントカレンダー書かないんですか？
tomo: というか去年のも出してないよ
hio: そうなんです。去年のがあって、手を出してないです。来年はより大きなモデルを試したいので、yoshisoくんがクラスター作るってきいていいなーと思いました。
ukiの振り返り
ukiさんの市況分析
UKI: これ市況が良いと書いてますけど、自分の運用成績は良くないんですよ。市況自体は非常に良かったですね。日経平均も爆上げして、暗号通貨もどんどん上がってきて。ただ、日本株のロング・ショートモデルが低調だったんですよね。マケデコでいろいろ喋ってるんで、もうエッジが消えちゃったのかなーとも考えました。ただ実際、2021年も成績が悪かったんですよ。なので、エッジが消えたのか、たまたま低調な時期なのか分かってないですね。で、yoshisoさんも思っていると思うんですけど、ファクターの効きが今年弱くなっている気がするんですよね。直近ファクターの効きが悪い。
yoshiso: それはめちゃくちゃ感じますね。18年と20年で切り替えが結構激しいのが多かったで、そういうのが起きてるかもですね。
UKI: システムのアップグレードは進めてて、最初Lasso使っててRidgeになって今は線形モデルになって。次の変身が最後かなーというモデルができていて、いつリリースしようかなというタイミングなんですね。だけどパフォーマンスが悪い時にリリースすると、結果が良いのか悪いのか判断が難しい。だけどもうモデルを変えようと思ってます。どんどん寄り引けのモデルがシンプルになってきている感じですね。
yoshiso: 今年はバリューが上がり続けてましたよね。
UKI: そうなんです。かつ大型も上がったので、難しい。
yoshiso: 2018から大型株優位ですよね。
UKI: 今年は前半が特に日経がのびて大型株が伸びたので、ファクター目線でみるとそういう年だったのかなーと。仮想通貨は上がり続けたんで、好調は好調でしたね。ただ、ハイレバで動かしているボットが2回くらい飛んじゃって、Hohetoくんにレバ高すぎるって言われました。僕いつもやらかすんですよ。利益がそれで削られましたね。あまりレバはかけないほうがいいですね。もしも飛ばなければ、その後に戻ってるんでプラスで終われるんですけど、飛んだらその時点でおしまいですからね。低レバでゆっくり回すのがいいですね。
tomo: 時間はどっちにどのくらい割いているんですか？
UKI: 時期によって違うんですよね。仮想通貨Botと日本株、時期によってどちらかに集中して取り組んでいる感じですね。で、来年注目のトピックはビットコインのETFと半減期でそろそろ本当にバブルがくるのか、というところですね。マケデコでもなにかやったらいいんですかね？
tomo: UKIさんとyoshisoで仮想通貨のイベントやったらそれこそ2000-3000人集まりそうですけどね。
UKI: ちょっとマケデコとは違うかもしれないので、tomoさんに任せます。仮想通貨botterでマケデコがあふれるというのもどうかと思うので。
tomo: J-Quants APIを伸ばしたいというのはあるので、そこを優先かなーと思いますね。とくに命苫さんたちがNYにいっているので、日本では我々が盛り上げたいなーと思ってますね。
yoshiso: なんか12月に新しいデータがでるんですよね
注: TOPIXが12月・1月に拡張されました: https://qiita.com/j_quants/items/68ffe2383cd6c3b8f6e1
hio: インデックスデータですよね。GithubにPR来てました。
tomo: 本当だ。今日PRきてる。
UKI: あと、アドベントカレンダーバズらせようと思って、前回よりさらにおもしろいコンテンツを仕込んでいるので、お楽しみに。結構、いけるんじゃないかと思っています。
来年のイベントの話
tomo: 来年なんかやりたいイベントありますか？だれか話を聞きたい人とかいますか？
UKI: shinshinさんとかkatsuさんとか、株で手を動かしている人をよんでみたいですよね。ただ、直接面識ある人がいなくて。
昔は株のシステムトレードはイザナミとかの市販ツールを使う人（シストレ勢）と、RやPythonで分析する人に分かれたんですよね。ただ、そういう人達（シストレ勢）って今やってる人は少なくなってきていて、仮想通貨のBotやっていた人たちでちょっと株側に来ている人（botter勢）が多い印象がありますね。（話を聞くなら）アドベントカレンダーに書いてくれた人がいい気がします。botter_01さんとか。名前にbotterついているので彼はbotter勢で間違いなさそうですよね。
tomo: 間違いなさそう 笑
hio: ノートブック使ったチュートリアルとかは人は集まるんですけど、おもしろくないんですよね。
tomo: そもそもUKIさんとかyoshisoくんがこないからな 笑
UKI: そもそもこれtomoさんはどういうモチベーションでマケデコ続けてるんですか？なんか最終的なビジョンとかあるんですか？
tomo: いやー、面白い人があつまってくれたら、それでいい、という感じですね。
UKI: ということは、僕らが楽しめるテーマで集まるのがいいということですよね。
tomo: そうそう、いもすさんのAMAとか聞く機会ないですもんね。
UKI: 僕らが集まって語る会のイベントでもいいですよね。ニーズあるかも。コメント拾って、座談会を垂れ流しにするオンライン座談会良さそうですよね。
yoshiso: 良さそう。論文ななみ読みとかね。
UKI: 良さそう、良さそう。
tomo: あ、そうだJ-Quants APIのリリース1年記念のイベントはやりましょう。もうユースケースも集まっていると思うので、いろいろ呼べそうですね。
hio: 学術系の人もよんでみたい気持ちはありますね。学術系で今何がホットで、どのあたりを掘っているのかをわかるように説明してくれたら面白いですよね。
UKI: だれですかねー。日本だとPFN・野村AMの方々がまず思い浮かびますけど。なんか最近中川さんも出演がきびしくなっているようで、来てくれなそうですけどねー。去年AMAイベントできて本当に良かったですよね。
tomo: 確かに。
UKI: 有名どころだとスパークスの水田さんですかねー。ただ、専攻が人工市場なので、オーディエンスがどこまで興味を持つのか予想できないですね。自分は時系列を生成して学習させました系を一番聞きたいんですが、そうなるといもすさんになってしまうんですよね。
tomo: なんかいろいろ話を聞いて、また来年のアイディアがでてきた気がします。
UKI: お、そうですか？
tomo: ですです、来年もうまく盛り上げていきたいですねー。さて、時間ですが、これまとまるのかなー。
yoshiso: これまとまるんですかねー。
tomo: まぁ、なんとかなるでしょ。
というわけで、なんとかなりましたでしょうか？もしいいフィードバックが多ければ、またこういうのも企画していこうとおもいますので、ぜひTwitterやDiscordで感想お待ちしております。
Discussion