Closed1

Selenium、Python、Lambdaでスクレイピング

shira79shira79

作ったもの

参考記事

AWS LambdaでPythonスクレイピングを定期実行させる Qiita
API Gateway から Lambda にパラメータを渡す Qiita

これを参考にして、"html.parser"ではなく、"lxml"を使用。
BeautifulSoup のエラー "Couldn't find a tree builder" の原因と対処法 Qiita

メモ

  • サーバの管理が不要という意味でサーバレスと言ってる
  • lambda関数でライブラリを使用したかったら、layerを作るなりライブラリごとアップするなりしなくちゃいけない

詰まったこと

  • layerがだるかった
  • タイムアウトになるから、バイナリーが見つかってないのかなと勘違いしたけども、メモリの問題だった。少なすぎたっぽい。
  • CORS対策
このスクラップは2022/01/16にクローズされました