Closed1
Selenium、Python、Lambdaでスクレイピング
作ったもの
- https://github.com/shira79/hinata-photo
- サーバレスのapiをVueから叩いてる。
参考記事
AWS LambdaでPythonスクレイピングを定期実行させる Qiita
API Gateway から Lambda にパラメータを渡す Qiita
これを参考にして、"html.parser"ではなく、"lxml"を使用。
BeautifulSoup のエラー "Couldn't find a tree builder" の原因と対処法 Qiita
メモ
- サーバの管理が不要という意味でサーバレスと言ってる
- lambda関数でライブラリを使用したかったら、layerを作るなりライブラリごとアップするなりしなくちゃいけない
詰まったこと
- layerがだるかった
- タイムアウトになるから、バイナリーが見つかってないのかなと勘違いしたけども、メモリの問題だった。少なすぎたっぽい。
- CORS対策
このスクラップは2022/01/16にクローズされました