Pixelwerker - Werbeagentur in Kassel

Crawler, Spider, Bots

Jetzt Kontakt aufnehmen!
Inhaltsverzeichnis

Definition

Crawler (auch Webcrawler, Bots, Spider) sammeln, analysieren und indexieren Daten im Internet. Dazu besucht ein Bot eine Webseite und liest dort alle Inhalte aus. Die Informationen werden in einer Datenbank gespeichert, wodurch so nach und nach alle Internetseiten erfasst werden, die mindestens einmal von einer anderen Website verlinkt sind. Mit solchen Bots können Suchmaschinen also ihren Index pflegen.

Funktionsweise

Ein Crawler funktioniert selbstständig und führt die ihm aufgetragenen Aufgaben aus. Diese müssen also im Vorfeld festgelegt werden. Der Spider arbeitet diese dann automatisch ab und wiederholt sie. Er gelangt wie ein Nutzer von Website zu Website und nimmt sie nach definierten Regeln in den Index auf.
Bots werden aber nicht nur von Suchmaschinen zur Indexierung verwendet, sondern auch zum Sammeln von E-Mail-Adressen oder zum illegalen Ausspähen von Nutzerdaten.

Bedeutung

Webcrawler wie der Google Bot sind die Voraussetzung dafür, dass Webseiten überhaupt in den SERPs ranken können. Für die Analyse einer Seite hat ein Bot einen bestimmten Zeitraum zur Verfügung (Crawl Budget). Dieses Budget kann man besser ausnutzen, indem man seine Website optimiert, sodass der Crawler mehr Daten erfassen kann.

Quellen

https://de.ryte.com/wiki/Crawler
https://www.gruenderszene.de/lexikon/begriffe/crawler
https://www.sem-deutschland.de/seo-firma-fur-nachhaltige-suchmaschinenoptimierung/seo-glossar/crawler-spider-bots/

Ähnliche Einträge

Vereinbaren Sie jetzt Ihre
unverbindliche Erstberatung

Rufen Sie jetzt an & vereinbaren
Sie Ihren persönlichen Termin!

Franziska Specht-Guenther
Franziska Specht-Günther

Agenturleitung & Marketing-Rockstar

"Ich freue mich darauf Sie und Ihr Projekt bei einer Tasse Kaffee kennenzulernen".

Oder schreiben Sie uns jetzt eine Nachricht:

Geben Sie Ihre E-Mail-Adresse an, unter der wir Sie kontaktieren können.

Sagen Sie uns worum es geht und für welche Themen Sie sich interessieren.

Wir benutzen Cookies um die Nutzerfreundlichkeit der Webseite zu verbessen. Durch Deinen Besuch stimmst Du dem zu.