Suchmaschinen versuchen, deine Website zu crawlen, und etwas geht schief. Eine Seite gibt einen 500-Fehler zurück. Eine Seite läuft in ein Timeout. Eine Seite ist nicht erreichbar. Das sind Crawling-Fehler. Sie zeigen Google, dass deine Website Probleme hat. Viele Crawling-Fehler schaden dem Ranking und verhindern, dass Seiten indexiert werden. Je mehr Crawling-Fehler du hast, desto weniger Seiten crawlt Google. Du musst Crawling-Fehler schnell finden und beheben.
Was sind Crawling-Fehler?
Crawling-Fehler entstehen, wenn Google versucht, eine Seite zu crawlen, und auf ein Problem stösst. Die Seite gibt vielleicht einen 5xx-Serverfehler zurück. Sie läuft vielleicht in ein Timeout und antwortet nicht. Sie ist vielleicht durch die robots.txt gesperrt oder wird endlos umgeleitet. Jedes Problem, das Google daran hindert, eine Seite erfolgreich zu crawlen, ist ein Crawling-Fehler.
Crawling-Fehler sind etwas anderes als Indexierungsprobleme. Eine Seite wird vielleicht erfolgreich gecrawlt, aber nicht indexiert (wegen noindex oder aus anderen Gründen). Das ist kein Crawling-Fehler. Ein Crawling-Fehler liegt vor, wenn das Crawlen selbst scheitert.
Arten von Crawling-Fehlern
500 Internal Server Error bedeutet, dass auf deinem Server etwas kaputt ist. Ein Skript ist abgestürzt. Eine Datenbankabfrage ist fehlgeschlagen. Der Server kann die Anfrage nicht verarbeiten. Behebe das zugrunde liegende Problem auf deinem Server.
503 Service Unavailable bedeutet, dass der Server vorübergehend nicht erreichbar ist. Das ist bei Wartungsarbeiten normal. Behebe, was den vorübergehenden Ausfall verursacht hat.
Timeout bedeutet, dass die Seite zu lange für die Antwort gebraucht hat. Google hat das Warten aufgegeben. Meist ist dein Server langsam oder überlastet. Optimiere deinen Server oder wechsle zu besserem Hosting.
Ein Weiterleitungsfehler bedeutet, dass die Seite falsch weiterleitet. Vielleicht leitet sie auf sich selbst um (Endlosschleife). Vielleicht leitet sie auf eine kaputte Seite um. Behebe die Weiterleitungskette.
Nicht gefunden (404) ist technisch gesehen kein Crawling-Fehler. Die Seite gibt korrekt 404 zurück. Ist das aber eine wichtige Seite, die existieren sollte, prüfe, warum sie 404 zurückgibt.
Durch robots.txt gesperrt bedeutet, dass die robots.txt das Crawlen verhindert. Das kann Absicht sein (du hast die Seite gezielt gesperrt) oder ein Versehen (du hast zu viel gesperrt). Prüfe deine robots.txt.
Warum Crawling-Fehler wichtig sind
Crawling-Fehler zeigen Suchmaschinen, dass deine Website Probleme hat. Stossen Suchmaschinen auf viele Crawling-Fehler, nehmen sie an, dass deine Website kaputt ist, und crawlen seltener. Das heisst, weniger Seiten werden gecrawlt und indexiert.
Seiten, die nicht gecrawlt werden können, können nicht indexiert werden. Gibt eine wichtige Seite 500-Fehler zurück, hören Suchmaschinen auf, sie zu crawlen, und entfernen sie aus dem Index.
Crawling-Fehler senden ein negatives Signal. Suchmaschinen nutzen den Zustand einer Website als Rankingfaktor. Eine Website mit vielen Crawling-Fehlern wirkt kaputt und nicht vertrauenswürdig. Dein Ranking leidet.
So findest du Crawling-Fehler
Nutze die Webmaster-Tools deiner Suchmaschine (für Google die Google Search Console). Der Abdeckungsbericht zeigt Crawling-Fehler. Er listet URLs auf, die Google crawlen wollte, aber nicht konnte. Die Fehlerart und die Zahl der Seiten pro Fehler werden angezeigt.
Nutze den Bericht "Crawling-Statistiken". Er zeigt, wie viele Seiten Google an welchen Tagen gecrawlt hat. Sinkt das Crawling-Volumen plötzlich, hast du wahrscheinlich Crawling-Fehler.
Nutze das URL-Prüftool. Gib eine bestimmte URL ein und das Tool zeigt, ob sie erfolgreich gecrawlt wurde, wann das war und auf welche Fehler es gestossen ist (falls welche auftraten).
Prüfe deine Server-Logs. Dein Hosting-Anbieter hat Zugriffsprotokolle, die jede Anfrage und Antwort zeigen. Suche nach 5xx-Fehlern oder Timeouts.
Häufige Ursachen von Crawling-Fehlern und ihre Lösungen
Dein Server ist überlastet. Zu viele Anfragen führen zu Timeouts und 503-Fehlern. Wechsle zu besserem Hosting oder optimiere deinen Code, damit er mehr Traffic verkraftet.
Ein Skript auf deiner Website ist kaputt. Ein PHP-Fehler oder Datenbankfehler führt zu 500-Fehlern. Prüfe deine Fehlerprotokolle und behebe den fehlerhaften Code.
Die robots.txt ist zu streng. Du hast versehentlich wichtige Seiten gesperrt. Prüfe die robots.txt und entferne zu weit gefasste Disallow-Regeln.
Weiterleitungsketten sind kaputt. Seite A leitet auf B weiter, B leitet auf C weiter, und C ist kaputt. Behebe die Weiterleitungskette, sodass sie direkt auf das Ziel zeigt.
Eine Seite hat ein noindex-Tag. Google crawlt sie, indexiert sie aber wegen noindex nicht. Ist das Absicht, ignoriere es. Ist es ein Versehen, entferne das noindex-Tag.
Crawling-Fehler beheben
Finde die Fehlerart heraus. Unterschiedliche Fehler brauchen unterschiedliche Lösungen. 500-Fehler brauchen Server-Korrekturen. Timeouts brauchen Performance-Optimierung. Weiterleitungsfehler brauchen Korrekturen an den Weiterleitungen.
Behebe das zugrunde liegende Problem. Bei 500-Fehlern behebst du den kaputten Code oder das kaputte Skript. Bei Timeouts optimierst du die Performance. Bei Weiterleitungen korrigierst du die Kette.
Prüfe die Korrektur. Rufe die Seite mit dem URL-Prüftool erneut ab. Google crawlt sie neu und meldet, ob der Fehler behoben ist.
Beobachte die Crawling-Statistiken. Beobachte nach den Korrekturen das Crawling-Volumen in deinen Webmaster-Tools. Das Crawling-Volumen sollte steigen, wenn Suchmaschinen mehr Seiten erfolgreich crawlen.
Häufig gestellte Fragen
Wie viele Crawling-Fehler kann ich tolerieren?
Null ist das Ziel. Einige Crawling-Fehler sind aber unvermeidlich. Ein paar Crawling-Fehler auf unwichtigen Seiten sind kein grosses Problem. Hunderte Crawling-Fehler deuten auf ernste Probleme hin. Hast du mehr als 50 Crawling-Fehler, geh der Sache nach und behebe sie. Mit dem Website-Builder von WEMASY kannst du das direkt auf deiner Website einrichten.
Schaden Crawling-Fehler dem Ranking direkt?
Nicht direkt, aber sie verhindern, dass Seiten indexiert werden, und schaden den Signalen für den Zustand der Website. Eine Seite mit einem Crawling-Fehler kann nicht ranken (sie ist nicht indexiert). Viele Crawling-Fehler zeigen Google, dass deine Website kaputt ist, und schaden so indirekt allen deinen Rankings.
Sollte ich alle Crawling-Fehler sofort beheben?
Setze Prioritäten. Behebe zuerst Crawling-Fehler auf wichtigen Seiten (Startseite, wichtigste Landingpages, Seiten, die Umsatz bringen). Weniger wichtige Seiten (archivierte Inhalte, Hilfsseiten) können warten. Behebe zuerst die schädlichsten Fehler.
Können Crawling-Fehler bei alten Inhalten meiner Website schaden?
Ein wenig. Hast du Tausende archivierte Seiten, die 404 oder 500 zurückgeben, entsteht Rauschen und das Crawl-Budget verteilt sich auf kaputte Seiten. Es ist besser, alte Inhalte zu löschen oder auf passende neue Inhalte umzuleiten, als sie kaputt liegen zu lassen.
Wie lange dauert es, bis Suchmaschinen nach einer Korrektur neu crawlen?
Meist ein paar Tage. Nachdem du einen Crawling-Fehler behoben hast, crawlen Suchmaschinen die Seite im nächsten Crawl-Zyklus neu. Nutze das URL-Prüftool, um ein erneutes Crawlen anzufordern. Das beschleunigt den Vorgang. Nach dem erneuten Crawlen aktualisieren die Webmaster-Tools den Abdeckungsbericht.
Was ist der Unterschied zwischen Crawling-Fehlern und Indexierungsfehlern?
Crawling-Fehler entstehen, wenn Google eine Seite nicht crawlen kann (500-Fehler, Timeouts). Indexierungsfehler entstehen, wenn eine Seite erfolgreich gecrawlt wird, aber nicht indexiert werden kann (Probleme mit dem Inhalt, noindex-Tag). Crawling-Fehler verhindern die Indexierung ganz. Indexierungsfehler bedeuten, dass die Seite gecrawlt, aber aus anderen Gründen nicht indexiert wurde.