Webcrawler

Ein Webcrawler, auch Spider oder Bot genannt, ist ein Programm, das Webseiten findet, indem es Links folgt. Es startet mit einer Liste von Start-URLs, lädt jede Seite herunter, extrahiert die enthaltenen Links und fügt neue URLs einer Warteschlange hinzu. Durch Wiederholung entsteht eine Karte einer Website oder des Webs insgesamt.

Die bekanntesten Crawler betreiben Suchmaschinen, um Seiten zu indexieren. Andere Crawler prüfen Websites auf defekte Links, legen Archive an, führen SEO-Audits durch oder sammeln eine URL-Liste zur späteren Verarbeitung. Gut programmierte Crawler geben sich über einen User-Agent-String zu erkennen, befolgen das als RFC 9309 veröffentlichte Robots Exclusion Protocol in robots.txt und begrenzen, wie schnell sie Seiten abrufen.

So funktionieren Webcrawler

1. Mit Start-URLs oder einer Sitemap beginnen.
2. In robots.txt die Regeln prüfen, die für den Crawler gelten.
3. Eine Seite abrufen und ihren Status und Inhalt erfassen.
4. Links extrahieren, normalisieren und bereits bekannte überspringen.
5. Neue URLs in die Warteschlange stellen und fortfahren, bis ein Limit erreicht ist.

Moderne Websites, die Inhalte mit JavaScript aufbauen, müssen unter Umständen erst in einem Headless-Browser gerendert werden, bevor Links erscheinen.

Crawling und Scraping

Crawling findet Seiten. Scraping extrahiert bestimmte Daten aus Seiten, etwa Preise oder Titel. Ein Crawler liefert oft die Eingabe für einen Scraper, beide können aber auch getrennt laufen: Ein Scraper kann mit einer festen URL-Liste arbeiten, ganz ohne Linksuche.

Wo Webcrawler eingesetzt werden

• Indexierung durch Suchmaschinen.
• Website-Audits auf defekte Links, Weiterleitungen und fehlende Metadaten.
• Webarchive, die Seiten über die Zeit bewahren.
• Erstellen einer URL-Liste für Screenshots oder inhaltliche Prüfungen.

Häufige Fehler

• robots.txt und die Bedingungen der Website ignorieren.
• Seiten zu schnell abrufen und den Server überlasten.
• URL-Parametern endlos folgen, etwa bei Kalendern und Filtern.
• Seiten hinter einem Login ohne Erlaubnis crawlen.

Immer wieder dieselben Screenshots?

Temposhot crawlt nicht. Website Capture nimmt die URLs auf, die Sie eingeben, und Bulk insert übernimmt eine Liste, die aus einem Crawler oder einer Sitemap exportiert wurde. Siehe Website-Screenshot-Automatisierung.

Häufige Fragen

Ist Webcrawling legal?

Das hängt von den Bedingungen der Website, den betroffenen Daten und dem jeweiligen Recht ab. Befolgen Sie robots.txt und die Bedingungen der Website und holen Sie für eine kommerzielle Nutzung Rat ein.

Was ist eine Sitemap?

Eine XML-Datei, die die URLs einer Website auflistet und Crawlern als Ausgangspunkt dient.

Quellen

• RFC 9309: Robots Exclusion Protocol
• Webcrawler in der Wikipedia (englisch)

Weiterführende Ressourcen

• Schnellstart für Website Capture: URLs hinzufügen und einen Lauf starten.
• Läufe und Ergebnisse: Zeilenstatus und erneute Versuche.
• Optionen für Website Capture: Einstellungen für Warten und Blockieren.