🔘

EC2(t2.micro)でNumerai Computeを達成したときのメモ

2023/04/21に公開

## サマリー

  • AWSにてNumeraiのDaily Submitができるようにしたので、Tipsなどをメモ
  • API Gateway ⇒ Lambda ⇒ EC2(の起動時ScriptでSubmit)

## 行ったこと

  1. EC2の立ち上げ

コードで学ぶAWS入門

  1. Lambdaの設定

AWS EC2 で Numerai Compute

大体上記のページを参考にしたら上手くいくんだけど、 cronの設定は普通に bash on_start.sh でいいんじゃないかと思う(少しハマった)

  1. API Gatewayの設定

API Gateway + LambdaでREST API開発を体験しよう [10分で完成編] - Qiita


## ハマったポイント

  • EC2のcronが上手く動かなかった

nonanacronを入れたら上手くいった

Cronが動かないとは何ごとぞ! - Qiita

yum -y install cronie-noanacron
yum remove cronie-anacron

## Tips

  • SlackWebが便利だった
# !pip install -Uqq slackweb
import slackweb
import datetime
import pandas as pd

# Slack通知用
url = "https://hooks.slack.com/services/xxx" # incomingwebhookのURL
slack = slackweb.Slack(url=url)
now = datetime.datetime.now()
date_now = now.strftime('%Y%m%d%H%M%S')
slack.notify(text=f"[{date_now}] Done!")
  • condaはt2.microだとinstallが難しいため、pipで入れる方が楽

    • miniconda上のpipで諸々installしました。
  • ストレージは30GB, メモリは1GB

2回目以降のメモ

・ec2の設定

  • miniconda install
  • pip install libraries
    requirements.txt
    fastparquet pyallowを忘れないこと
  • crontab設定
    • yum install
  • scripts配置
  • scripts改変
  • scp

この時点で起動 => slackの確認はできるはず。確認

labmdaの設定変更

  • 起動先のinstance idを変える

Discussion