Zenn
🔘

EC2（t2.micro）でNumerai Computeを達成したときのメモ

に公開
AWS
Numerai
tech

## サマリー

  • AWSにてNumeraiのDaily Submitができるようにしたので、Tipsなどをメモ
  • API Gateway ⇒ Lambda ⇒ EC2（の起動時ScriptでSubmit）

## 行ったこと

  1. EC2の立ち上げ

コードで学ぶAWS入門

  1. Lambdaの設定

AWS EC2 で Numerai Compute

大体上記のページを参考にしたら上手くいくんだけど、 cronの設定は普通に bash on_start.sh でいいんじゃないかと思う（少しハマった）

  1. API Gatewayの設定

API Gateway + LambdaでREST API開発を体験しよう [10分で完成編] - Qiita

## ハマったポイント

  • EC2のcronが上手く動かなかった

nonanacronを入れたら上手くいった

Cronが動かないとは何ごとぞ！ - Qiita

yum -y install cronie-noanacron
yum remove cronie-anacron

## Tips

  • SlackWebが便利だった
# !pip install -Uqq slackweb
import slackweb
import datetime
import pandas as pd

# Slack通知用
url = "https://hooks.slack.com/services/xxx" # incomingwebhookのURL
slack = slackweb.Slack(url=url)
now = datetime.datetime.now()
date_now = now.strftime('%Y%m%d%H%M%S')
slack.notify(text=f"[{date_now}] Done!")

  • condaはt2.microだとinstallが難しいため、pipで入れる方が楽

    • miniconda上のpipで諸々installしました。

  • ストレージは30GB, メモリは1GB

2回目以降のメモ

・ec2の設定

  • miniconda install
  • pip install libraries
    requirements.txt
    fastparquet pyallowを忘れないこと
  • crontab設定
    • yum install
  • scripts配置
  • scripts改変
  • scp

この時点で起動 => slackの確認はできるはず。確認

labmdaの設定変更

  • 起動先のinstance idを変える

Discussion