Web Crawler
Webクローラーの仕組み、クロールとスクレイピングの違い、クローラーがスクリーンショットのツールとどう使われるかを解説します。
Webクローラーは、スパイダーやボットとも呼ばれ、リンクをたどってWebページを発見するプログラムです。開始URLのリストから始め、各ページをダウンロードし、含まれるリンクを抽出して、新しいURLをキューに追加します。これを繰り返すと、サイトまたはWeb全体の地図が作られます。
検索エンジンは、ページをインデックスに登録するために、最もよく知られたクローラーを動かしています。ほかのクローラーは、サイトの壊れたリンクの確認、アーカイブの作成、SEOの監査、後の処理のためのURLリストの作成を行います。適切に動作するクローラーは、ユーザーエージェントの文字列で自身を識別し、RFC 9309として公開されたRobots Exclusion Protocolに従って robots.txt のルールを守り、ページを要求する速度を制限します。
Webクローラーの仕組み
- 開始URLまたはサイトマップから始めます。
- クローラーに適用されるルールを
robots.txtで確認します。 - ページを取得し、ステータスとコンテンツを記録します。
- リンクを抽出して正規化し、すでに確認したものは飛ばします。
- 新しいURLをキューに追加し、上限に達するまで続けます。
JavaScriptでコンテンツを構築する最近のサイトでは、リンクが表示される前にヘッドレスブラウザで描画する必要がある場合があります。
クロールとスクレイピング
クロールはページを見つけます。スクレイピングは、価格やタイトルなど、ページから特定のデータを抽出します。クローラーはスクレイパーにURLを渡すことが多いですが、2つは別々に実行することもできます。スクレイパーは、リンクの発見を行わず、固定のURLのリストに対して動作する場合があります。
Webクローラーの用途
- 検索エンジンのインデックス登録。
- 壊れたリンク、リダイレクト、メタデータの欠落のサイト監査。
- ページを時間をかけて保存するWebアーカイブ。
- スクリーンショットやコンテンツのレビュー用のURLリストの作成。
よくある間違い
robots.txtとサイトの利用規約を無視する。- ページを速く要求しすぎて、サーバーに負荷をかける。
- カレンダーやフィルターなどのURLパラメーターを無限にたどる。
- 許可を得ずに、ログインの背後にあるページをクロールする。
同じスクリーンショットを繰り返し撮りますか？
Temposhotはクロールを行いません。Website Capture は、入力したURLを撮影します。Bulk insert では、クローラーまたはサイトマップから書き出したリストを受け付けます。詳しくは Webサイトのスクリーンショット自動化 をご覧ください。
よくある質問
Webクローリングは合法ですか？
サイトの利用規約、対象のデータ、そして現地の法律によって異なります。robots.txt とサイトの利用規約に従い、商用利用については助言を受けてください。
サイトマップとは何ですか？
サイトのURLを一覧にしたXMLファイルです。クローラーは、これを出発点として使います。
出典
関連リソース
- Website Captureのクイックスタート: URLを追加して実行を開始します。
- 実行と結果: 行のステータスと再試行。
- Website Captureのオプション: 待機とブロックの設定。
同じスクリーンショットを何度も撮っていますか？
Temposhot は、画面、ウィンドウ、または範囲をタイマーに従って連続で撮影し、その一式を PDF、画像、ZIP、または MP4 で書き出します。無料のブラウザツールは、1 枚の画像の処理に対応しています。