Deepcrawl

Deepcrawl Definition

Deepcrawl beschreibt die Fähigkeit eines Suchmaschinen-Crawlers, eigenständig die Unterseiten einer Website nach Content zu durchsuchen und sie dann zu indexieren.

Einige Suchmaschinen können die Inhalte nur bis zu einer bestimmten Verzeichnistiefe der Website indexieren. Der Deepcrawl sorgt dafür, dass auch Unterseiten als eigenständige Seite bewertet und indiziert werden.

Die Rolle des Crawl Budgets

Auch komplexere Websiten mit tieferliegenden Unterseiten hab dank des Deepcrawls auch die Chance, gut in den Suchergebnissen (SERP’s) zu ranken. Ob Google überhaupt alle Unterseiten untersucht, hängt von dem sogenannten Crawl Budget ab. Das Crawl Budget gibt die Anzahl der Seiten an, die Google höchstens auf einer Domain durchsucht.

Websites, die zum Beispiel nur wenige tausend URLs haben, bekommen keine Probleme mit dem Crawl Budget.

Bei umfangreicheren Websites hingegen sieht es etwas anders aus, denn hier untersucht der Crawler nur eine gewisse Anzahl an Unterseiten. Das hat zur Folge, dass wer Website-Betreiber Angst haben muss, dass ihm viele Ranking-Positionen und somit viel Traffic verloren gehen, da der Crawler die Unterseiten nicht indexiert.

Das Budget-Problem umgehen

Wie kann man also als Webmaster sichergehen, dass der Crawler alle Unterseiten erfasst? Dafür gibt es zwei Lösungen:

Eine flache Seitenstruktur entwickeln
Unwichtige Unterseiten vom Crawling ausschließen

Funktion des Deepcrawls

Der Deepcrawl sorgt also für eine Tiefen-Indexierung einer Website. Dabei sucht der Crawler verschiedene Website-Ebenen nach Links ab, denen er folgt. Diese Verweise, die tiefliegende Unterseiten einer Website verknüpfen, nennt man Deep Links. Deep Links kommen nicht auf der Startseite vor.

Beispiel

Dieser Beitrag mit der URL pixelwerker.de/lexikon/deepcrawl ist eine Unterseite der pixelwerker.de -Website. Nehmen wir an, der Lexikon-Beitrag verweist auf die Unterseite https://pixelwerker.de/seo-agentur/. Bei einem solchen Verweis handelt es sich um einen „Deep Link“.

Wenn jetzt die Unterseite https://pixelwerker.de/seo-agentur/ weitere Verlinkungen hat, wie in diesem Fall zu den Unterseiten

untersucht der Crawler auch diese. So hangelt er sich von Unterseite zu Unterseite und schafft sich so einen Überblick über die Website, dessen Aufbau und die internen Verlinkungen.

Die Suchmaschine indexiert die gesamten Unterseiten auf altbekannte Weise; Google liest den Quellcode der Website aus und wertet ihn basierend auf den Rankingfaktoren aus.
Ab diesem Punkt kommen dann die verschiedenen Ranking-Kriterien der jeweiligen Suchmaschine zum Einsatz.

Die Seite wird bewertet und hat bestenfalls eine gute Ranking-Position bei relevanten Suchanfragen der User.

Ziel des Deepcrawls

Der Deepcrawl verfolgt das Ziel, die Website tiefgreifend zu untersuchen und in die Struktur der Website einzudringen. Dies macht er mit Hilfe der Deep Links.

Das Resultat davon ist, dass der Crawler so sämtliche Unterseite auf einer Website durchsucht, sie als eigenständige Seiten bewertet und anschließend in den Suchmaschinen-Index aufnimmt.

Deepcrawl vs. Fresh Crawl

Der Deepcrawl untersucht die Website intensiv und gründlich. Er folgt jedem Link um sich so einen Überblick über den Aufbau und den Content der Website zu machen. So ein Deepcrawl kann bei umfangreichen Websites oder Onlineshops mehrere Stunden in Anspruch nehmen.

Das Gegenteil des Deepcrawls stellt der Fresh Crawl dar, der Websites permanent untersucht. Google hat ja das Ziel, im Internet ständig neue Inhalte zu finden, um aktuellen und neuen Content so schnell wie möglich in den Index aufzunehmen. Damit das in kurzer Zeit gelingt und möglichst viele Websites untersucht werden, geschieht das Crawlen nur oberflächlich.

Im Prinzip überprüft der Crawler eigentlich nur, ob es Veränderungen gibt. Wie häufig eine Website gecrawlt wird, hängt unter anderem von der Häufigkeit der Aktualisierungen ab.

Quelle:

https://www.seo-kueche.de/lexikon/deep-crawl/