この記事では、AWS LambdaとSeleniumを用いてPythonでスクレイピング環境を構築する方法について説明します。
AWS Lambdaとは
AWS Lambdaは、サーバレスで関数 (プログラム)を実行することができるAWSサービスです。EC2などのコンピューティングリソースを使用せずに、実行したい時にプログラムを実行させることができます。
Seleniumとは
Seleniumは、ブラウザ操作をプログラムで自動化することができるツール (ライブラリ)です。ChromeやFirefoxなどの主要なブラウザは一通りサポートしています。
LambdaでSeleniumを利用する手順
-
必要なライブラリをダウンロードします。ダウンロードするのは以下3つです。
- selenium
- chromium
- chromedriver
-
Lambdaレイヤー用のzipファイルを作成します。
-
Lambdaレイヤーにzipファイルをアップロードします。
-
Lambda関数を作成します。
-
Lambdaレイヤーを追加します。
-
関数にプログラムを書きます。
以上の手順で、AWS LambdaでSeleniumを利用したPythonスクレイピング環境を構築することができます。
注意事項
Seleniumパッケージのバージョン互換性について注意が必要です。利用するバージョンに十分注意する必要があります。
以上、AWS LambdaとSeleniumを用いたPythonスクレイピング環境の構築について説明しました。この情報が皆さんの開発に役立つことを願っています。