Crawling

Was ist Crawling?

Crawling ist der Prozess, bei dem Suchmaschinen-Bots wie der Googlebot Websites automatisiert besuchen, Links folgen und Inhalte erfassen. Das Crawling ist der erste Schritt, bevor eine Seite überhaupt in den Suchindex aufgenommen werden kann.

Crawler folgen internen und externen Links, lesen die robots.txt-Datei aus und respektieren Anweisungen wie Noindex-Tags. Jede Website erhält dabei ein begrenztes Crawl-Budget, also eine begrenzte Anzahl an Seiten, die in einem bestimmten Zeitraum besucht werden.

Warum das für B2B-Unternehmen wichtig ist

Große B2B-Websites mit tausenden Produkt- oder Variantenseiten stoßen schneller an ihr Crawl-Budget. Werden wichtige Seiten nicht regelmäßig gecrawlt, verzögert sich die Aktualisierung im Index und aktuelle Inhalte bleiben unsichtbar.

Was nicht gecrawlt wird, kann auch nicht ranken.

Unternehmen sollten die Crawl-Aktivität über die Google Search Console beobachten, unwichtige Seiten wie Filterkombinationen von der Indexierung ausschließen und eine klare interne Verlinkung schaffen, die Crawler zu den relevanten Seiten führt.