Suchmaschinen arbeiten in drei Schritten: Crawling findet Seiten, Indexierung speichert sie und Ranking zeigt zu jeder Suchanfrage die relevantesten Ergebnisse.
Jedes Mal, wenn du nach etwas suchst, nutzt du ein System, das bereits Millionen von Seiten besucht, kategorisiert und entschieden hat, welche deine Frage am besten beantworten. Aber wie passiert das? Was geschieht zwischen dem Eintippen deiner Suchanfrage und den Ergebnissen?
Suchmaschinen haben drei Aufgaben. Sie finden Seiten, die es im Internet gibt. Sie analysieren und speichern, worum es auf diesen Seiten geht. Und wenn jemand sucht, liefern sie die Seiten, die am besten zu dem passen, was die Person sucht. Diese drei Schritte heissen Crawling, Indexierung und Ranking.
Wie Crawling Seiten entdeckt
Bevor eine Suchmaschine eine Seite in den Ergebnissen zeigen kann, muss sie wissen, dass es die Seite gibt. Hier kommt das Crawling ins Spiel. Ein Crawler (auch Bot oder Spider genannt) ist ein automatisches Programm, das durchs Web wandert und Links von einer Seite zur nächsten folgt.
Wenn du eine neue Website startest, erscheint sie nicht automatisch in den Suchergebnissen. Der Crawler der Suchmaschine muss sie zuerst finden. Crawler entdecken Seiten auf zwei Wegen. Sie folgen Links von Seiten, die sie schon besucht haben. Verlinkt eine andere Website auf deine Seite, findet der Crawler sie irgendwann über diesen Link. Ausserdem lesen sie Sitemaps, also Dateien, die du einreichen kannst und die alle Seiten deiner Website auflisten. Erfahre mehr darüber, wie du eine Sitemap für besseres Crawling erstellst.
Findet ein Crawler eine Seite, rankt er sie nicht sofort und zeigt sie auch nicht in den Ergebnissen. Er merkt sich nur, dass es die Seite gibt. Dann zieht der Crawler zu weiteren Seiten und liefert der Suchmaschine laufend neue und aktualisierte Seiten.
Crawl-Budget zählt
Suchmaschinen können nur begrenzt viele Seiten deiner Website auf einmal crawlen. Das nennt man Crawl-Budget. Bei einer grossen Website mit Tausenden Seiten wird vielleicht nicht jede Seite in derselben Woche gecrawlt. Langsamere Websites verschwenden Crawl-Budget, weil der Crawler Zeit damit verbringt, auf das Laden von Seiten zu warten, statt sich durch deine Website zu bewegen. Eine schnelle, gut organisierte Website hilft dem Crawler, effizient durch die Seiten zu kommen.
Wie die Indexierung Seiteninformationen ordnet und speichert
Hat ein Crawler eine Seite gefunden, ist der nächste Schritt die Indexierung. Indexierung ist der Prozess, die Seite zu analysieren und Informationen über sie in einer riesigen Datenbank zu speichern. Stell dir die Indexierung wie den Aufbau eines Bibliothekskatalogs vor. Der Bibliothekar stellt das Buch nicht einfach ins Regal. Er liest es, analysiert, worum es geht, und legt einen Eintrag an, der anderen hilft, es später zu finden.
Wird eine Seite indexiert, analysiert die Suchmaschine Inhalt, Überschriften, Keywords und Struktur. Sie schaut, wie schnell die Seite lädt, ob sie auf Mobilgeräten funktioniert und welche anderen Seiten auf sie verlinken. All diese Informationen werden im Index gespeichert.
Nicht jede Seite wird gleich indexiert. Manche Seiten werden von der Indexierung ausgeschlossen, wenn sie durch eine robots.txt-Datei gesperrt oder mit einem noindex-Tag markiert sind. Auch Seiten mit sehr wenig eigenem Inhalt oder Seiten, die zu langsam sind, schaffen es eventuell nicht in den Index. Eine Seite kann gecrawlt, aber nicht indexiert sein. Lies unseren Leitfaden, warum manche Seiten nicht gut ranken, um Indexierungsprobleme besser zu verstehen.
Indexierung läuft in Stufen
Nachdem eine Seite gecrawlt wurde, erscheint sie nicht sofort in den Suchergebnissen. Die Indexierung kann je nach Seite und Website Tage oder Wochen dauern. Neue Seiten werden eventuell schneller indexiert, weil Suchmaschinen frische Inhalte entdecken wollen. Seiten auf Websites, die lange gute Inhalte veröffentlichen, werden oft schneller indexiert als Seiten auf neuen Websites.
Wie das Ranking entscheidet, welche Seiten zuerst erscheinen
Gibt jemand eine Suchanfrage ein, zeigt die Suchmaschine nicht alle Seiten im Index, die zu diesen Wörtern passen. Stattdessen liefert sie die Seiten, die sie für die relevantesten, nützlichsten und vertrauenswürdigsten hält. Das ist das Ranking. Die Suchmaschine betrachtet über 200 verschiedene Signale, um zu entscheiden, welche Seiten an erster Stelle stehen, welche an zweiter und welche vielleicht gar nicht erscheinen.
Manche dieser Signale liegen auf deiner Seite. Die Wörter, die du nutzt, wie du deine Inhalte strukturierst, wie schnell deine Seite lädt und ob sie auf Smartphones funktioniert, beeinflussen alle dein Ranking. Andere Signale kommen von ausserhalb deiner Seite. Wie viele andere Websites auf deine Seite verlinken, wie Menschen mit deiner Seite interagieren, wenn sie sie finden, und der allgemeine Ruf deiner Website spielen alle eine Rolle.
Ein wichtiges Signal ist die Suchabsicht. Sucht jemand nach „wie repariere ich einen tropfenden Wasserhahn“, sucht die Suchmaschine Seiten, die erklären, wie das geht, und nicht Seiten, die Reparatursets für Wasserhähne verkaufen wollen. Die Suchmaschine hat gelernt, was Menschen wirklich wollen, wenn sie diese Phrase eintippen, und liefert Seiten, die zu dieser Absicht passen. Mehr dazu liest du unter Suchabsicht und was Menschen wirklich wollen.
Das Ranking ändert sich ständig
Deine Ranking-Position steht nicht fest. Suchmaschinen aktualisieren ihre Ranking-Algorithmen regelmässig. Manchmal ändern sich Rankings, weil die Suchmaschine ihr System anpasst. Manchmal, weil Mitbewerber bessere Inhalte veröffentlichen. Manchmal verbessert sich deine eigene Seite und steigt auf. Deine Position über die Zeit zu beobachten, hilft dir zu verstehen, ob deine SEO-Massnahmen wirken. Erfahre mehr darüber, warum deine Mitbewerber vielleicht höher ranken und was du dagegen tun kannst.
Der vollständige Kreislauf
Diese drei Schritte sind keine einmaligen Ereignisse. Crawler besuchen Seiten immer wieder und suchen nach Änderungen und neuen Inhalten. Aktualisierst du eine Seite, finden Crawler diese Updates und die Seite wird neu indexiert. Der Ranking-Algorithmus berechnet die Positionen anhand neuer Daten laufend neu.
Die Geschwindigkeit dieses Kreislaufs hängt von der Autorität deiner Website ab. Seiten auf etablierten Websites mit langer Geschichte guter Inhalte werden häufiger gecrawlt und neu indexiert. Neue Websites müssen eventuell länger warten, bis Änderungen in den Ergebnissen erscheinen. Deshalb ist SEO eine langfristige Aufgabe. Du kannst nicht heute eine Seite veröffentlichen und erwarten, dass sie morgen rankt. Das System muss sie entdecken, indexieren und bewerten, bevor sie in den Ergebnissen erscheint. Eine vollständige Strategie für Einsteiger findest du in unserem SEO-Plan für Einsteiger.
Häufig gestellte Fragen
Wie oft crawlen Suchmaschinen meine Website?
Wie oft, hängt vom Alter und der Autorität deiner Website ab. Neue Websites werden eventuell einmal pro Woche oder seltener gecrawlt. Etablierte Websites mit viel Traffic werden mehrmals am Tag gecrawlt. Die Crawl-Aktivität siehst du in deinem Google-Search-Console-Konto im Bericht „Crawling-Statistiken“. Willst du, dass Crawler Updates schneller bemerken, reiche die URL direkt in der Google Search Console ein. Mit dem Website-Builder von WEMASY kannst du das direkt auf deiner Website einrichten.
Kann ich meine Seite schneller indexieren lassen?
Ja, ein paar Dinge helfen. Sorge dafür, dass deine Seite auffindbar ist, indem du eine Sitemap bei der Google Search Console einreichst. Verbessere die Geschwindigkeit deiner Website, weil Crawler dann weniger Zeit mit Warten verbringen und mehr Zeit damit, neue Seiten zu finden. Verlinke neue Seiten von deiner Startseite oder anderen Seiten deiner Website mit hoher Autorität. Und veröffentliche regelmässig frische Inhalte, damit Suchmaschinen deine Website öfter prüfen.
Was ist der Unterschied zwischen Crawling und Indexierung?
Crawling ist, wenn die Suchmaschine eine Seite besucht und liest. Indexierung ist, wenn die Suchmaschine Informationen über diese Seite speichert, damit sie später als Suchergebnis geliefert werden kann. Eine Seite kann gecrawlt, aber nicht indexiert werden, wenn sie sehr wenig eigenen Inhalt hat oder du der Suchmaschine sagst, sie nicht zu indexieren.
Garantiert eine Sitemap, dass meine Seiten indexiert werden?
Nein. Eine Sitemap hilft dem Crawler, deine Seiten schneller zu finden, zwingt Google aber nicht, sie zu indexieren. Die Suchmaschine entscheidet weiterhin selbst, ob jede Seite nützlich und es wert ist, im Index gespeichert zu werden. Eine Sitemap hilft, ist aber keine Garantie.
Kann ich verhindern, dass meine Seite indexiert wird?
Ja. Du kannst der Seite im Header einen noindex-Tag hinzufügen, der Suchmaschinen sagt, sie nicht in die Ergebnisse aufzunehmen. Du kannst auch das gesamte Crawling mit der robots.txt sperren. Sei damit aber vorsichtig, denn deine Seite erscheint dann nicht in den Suchergebnissen, selbst wenn es sonst guter Inhalt ist, den Menschen finden wollen.
Werden mobile und Desktop-Version getrennt indexiert?
Suchmaschinen nutzen heute Mobile-First-Indexierung. Das heisst, sie nutzen vor allem die mobile Version deiner Seite, um sie zu indexieren und zu ranken. Fehlen auf deiner mobilen Seite Inhalte, die auf der Desktop-Version stehen, werden diese fehlenden Inhalte nicht indexiert. Achte darauf, dass deine mobile Website dieselbe Qualität und denselben Inhalt hat wie die Desktop-Version.