Crawler, Spider, Bots

Definition

Crawler (auch Webcrawler, Bots, Spider) sammeln, analysieren und indexieren Daten im Internet. Dazu besucht ein Bot eine Webseite und liest dort alle Inhalte aus. Die Informationen werden in einer Datenbank gespeichert, wodurch so nach und nach alle Internetseiten erfasst werden, die mindestens einmal von einer anderen Website verlinkt sind. Mit solchen Bots können Suchmaschinen also ihren Index pflegen.

Funktionsweise

Ein Crawler funktioniert selbstständig und führt die ihm aufgetragenen Aufgaben aus. Diese müssen also im Vorfeld festgelegt werden. Der Spider arbeitet diese dann automatisch ab und wiederholt sie. Er gelangt wie ein Nutzer von Website zu Website und nimmt sie nach definierten Regeln in den Index auf.
Bots werden aber nicht nur von Suchmaschinen zur Indexierung verwendet, sondern auch zum Sammeln von E-Mail-Adressen oder zum illegalen Ausspähen von Nutzerdaten.

Bedeutung

Webcrawler wie der Google Bot sind die Voraussetzung dafür, dass Webseiten überhaupt in den SERPs ranken können. Für die Analyse einer Seite hat ein Bot einen bestimmten Zeitraum zur Verfügung (Crawl Budget). Dieses Budget kann man besser ausnutzen, indem man seine Website optimiert, sodass der Crawler mehr Daten erfassen kann.

Quellen

https://de.ryte.com/wiki/Crawler
https://www.gruenderszene.de/lexikon/begriffe/crawler
https://www.sem-deutschland.de/seo-firma-fur-nachhaltige-suchmaschinenoptimierung/seo-glossar/crawler-spider-bots/

Ähnliche Einträge