Die meisten Website-Betreiber warten, bis Crawler ihre Inhalte finden. Sie veröffentlichen am Montag eine Seite und hoffen, dass ein Bot sie bis Mittwoch entdeckt. Bei KI-Crawlern zählt dieses Warten mehr denn je. Perplexity crawlt das Web mehrmals täglich. Aktualität ist kein kleines Rankingsignal. Sie entscheidet, ob deine Inhalte zitiert werden oder stattdessen die deines Wettbewerbers.
XML-Sitemaps und IndexNow sind die beiden Werkzeuge, die dieses Modell umdrehen. Statt passiv zu warten, sagst du Crawlern genau, wo deine Inhalte liegen und wann sie sich geändert haben. Sitemaps ordnen deine Seiten, damit Crawler sie schneller finden. IndexNow meldet Suchmaschinen aktiv, sobald etwas veröffentlicht wird. Zusammen verkürzen diese Werkzeuge das Zeitfenster der Entdeckung von Tagen auf Stunden. Bei KI-Plattformen, bei denen Aktualität über die Sichtbarkeit entscheiden kann, ist dieser Vorsprung real.
Was eine XML-Sitemap für KI-Crawler leistet
Eine XML-Sitemap ist eine strukturierte Datei, die jede wichtige Seite deiner Website auflistet. Sie sagt Crawlern die URL jeder Seite, wann sie zuletzt aktualisiert wurde, wie wichtig sie im Vergleich zu anderen Seiten ist und wie oft sie sich ändert.
Für klassische Suchmaschinen sind Sitemaps nett, aber nicht nötig. Für KI-Crawler sind sie fast unverzichtbar. Analysen von Server-Logs über 85 Domains zeigen, dass GPTBot (der Crawler von OpenAI) in der ersten Phase der Entdeckung in 76 % der Fälle Sitemaps heranzieht. Googlebot nutzt Sitemaps nur in 54 % der Fälle. KI-Systeme sind stärker auf Sitemaps angewiesen, weil sie die Struktur deiner Website und die Priorität der Inhalte schnell verstehen wollen.
Der Grund ist wichtig. Perplexity crawlt ständig. Es muss neue Inhalte schnell finden. ChatGPT indexiert gezielt. Es bevorzugt die Seiten, die dir am wichtigsten sind. Wenn deine Sitemap unordentlich oder unvollständig ist, versteckst du Inhalte praktisch vor den Crawlern, die entscheiden, ob deine Marke in Antworten zitiert wird.
Wie KI-Crawler deine Sitemap anders nutzen
Eine Sitemap sagt Crawlern drei Dinge. Sie sagt ihnen, wo deine Inhalte liegen. Sie sagt ihnen, welche Seiten am wichtigsten sind. Und sie sagt ihnen, wann sich etwas geändert hat.
Für KI-Systeme ist der dritte Punkt entscheidend. Wenn du eine Seite aktualisierst, zeigt das Tag lastmod (zuletzt geändert) in deiner Sitemap, dass sich der Inhalt geändert hat. GPTBot prüft dieses Tag. Perplexity prüft dieses Tag. Wenn ein KI-Crawler eine frische Aktualisierung in deiner Sitemap sieht, crawlt er diese Seite bevorzugt neu. Wenn deine Sitemap sagt, dass sich eine Seite seit sechs Monaten nicht geändert hat, stuft der Crawler sie herab. Wegen der Vorliebe für Aktualität bei KI-Plattformen ist das die wichtigste Metainformation, die du steuern kannst.
Auch der zweite Punkt zählt. Deine Sitemap enthält ein Tag für die Priorität, das Crawlern sagt, welche Seiten dir am wichtigsten sind. Seiten bekommen einen Wert von 0 bis 1. Deine Startseite hat vielleicht 1,0. Dein Blog 0,8. Alte archivierte Inhalte 0,3. KI-Crawler sehen die Priorität nicht als Rankingsignal, aber als Signal für Effizienz. Wenn du einem KI-Crawler sagst, dass 60 % deiner Website niedrige Priorität haben, weiss er, worauf er sein Crawl-Budget richten soll.
Die Optimierung der Sitemap, auf die KI-Crawler reagieren
Die meisten Unternehmen erstellen eine Sitemap und vergessen sie. Die Crawler finden sie. Die Inhalte werden indexiert. Fall erledigt.
KI-Crawler belohnen Genauigkeit. Segmentierte Sitemaps schneiden 67 % besser ab. Statt jede Seite in eine riesige Sitemap zu packen, erstellst du getrennte Sitemaps für verschiedene Inhaltstypen. Eine für Blogartikel. Eine für Produktseiten. Eine für Lernleitfäden. Eine für deine Hauptseiten.
Warum ist das wichtig? Wenn ein KI-Crawler deine Website besucht, hat er begrenzte Zeit und begrenztes Crawl-Budget. Wenn du ihm sagst, dass deine Sitemap 10.000 gemischte Seiten enthält und er nur Zeit für 1.000 davon hat, muss er raten, welche 1.000 wichtig sind. Wenn du deine Sitemaps stattdessen segmentierst und ihm sagst, dass deine Blog-Sitemap 400 Seiten hat und deine Produkt-Sitemap 50 Seiten, weiss der Crawler genau, wie er sein Budget einteilt. Produktseiten werden tiefer gecrawlt. Neue Blogartikel werden mehrmals gecrawlt.
Die Verbesserung zeigt sich in der Geschwindigkeit der Entdeckung. Mit segmentierten Sitemaps entdecken KI-Crawler die komplette Website 34 % schneller. Websites mit einer riesigen Sitemap warten 30 Tage auf eine vollständige Abdeckung durch den Crawl. Websites mit segmentierten Sitemaps sehen die volle Abdeckung nach 20 Tagen.
Das Segmentieren ist einfach. Du erstellst getrennte Sitemap-Dateien für verschiedene Bereiche deiner Website und listest sie alle in einer Sitemap-Index-Datei auf. Die meisten Content-Management-Systeme, auch WEMASY, erstellen Sitemaps automatisch. Die meisten Plattformen lassen dich sie ausserdem nach Typ oder Bereich segmentieren.
Das lastmod-Tag richtig setzen
Das lastmod-Tag ist dein Signal der Aktualität für KI-Crawler. Wenn du neue Inhalte veröffentlichst, trägt es das heutige Datum. Wenn du einen alten Artikel aktualisierst, aktualisierst du das lastmod-Datum. Der Crawler sieht das und weiss, dass sich etwas geändert hat.
Viele Websites machen das falsch. Sie veröffentlichen eine Seite im Januar, und das lastmod-Datum bleibt für immer Januar. Sie aktualisieren die Seite im Mai, vergessen aber die Sitemap. Der Crawler sieht keine Änderung und crawlt die Seite nicht bevorzugt neu.
Für KI-Plattformen ist das ein kritischer Fehler. Perplexity nutzt die Aktualität von Inhalten gezielt, um zu entscheiden, ob es dich zitiert. Eine Seite mit veraltetem lastmod-Tag wirkt abgestanden. Eine Seite mit aktuellem lastmod-Tag wirkt frisch. Wenn du deine Inhalte pflegst und regelmässig aktualisierst, achte darauf, dass deine Sitemap das widerspiegelt.
Am besten automatisierst du das. Plugins für Content-Management-Systeme, Shop-Apps und die meisten modernen Inhaltsplattformen aktualisieren das lastmod-Datum automatisch, wenn du etwas an einer Seite änderst. Einmal einrichten und vergessen. Die Crawler sehen ständig frische Signale.
Was IndexNow kann, was Sitemaps nicht können
Eine Sitemap ist passiv. Du erstellst sie. Du veröffentlichst sie. Dann wartest du, bis Crawler sie entdecken. Crawler besuchen deine Sitemap nach ihrem Zeitplan, nicht nach deinem. Wenn ein Bot einmal pro Woche vorbeikommt, wartet dein neuer Inhalt eine Woche auf die Entdeckung.
IndexNow dreht das um. Statt auf Crawler zu warten, benachrichtigst du sie aktiv. Sobald du eine Seite veröffentlichst, schickt IndexNow eine Meldung an Suchmaschinen: „Hey, ich habe das gerade veröffentlicht.“ Bing und drei weitere Suchmaschinen unterstützen IndexNow. Du meldest an einen einzigen API-Endpunkt, und alle vier erhalten die Benachrichtigung.
IndexNow ist kostenlos und Open Source. Es wurde von Microsoft und anderen Suchanbietern gezielt entwickelt, um das Problem der langsamen Entdeckung zu lösen. Vor IndexNow mussten SEOs auf Backlinks oder organisches Crawlen hoffen, damit neue Inhalte bemerkt wurden. Mit IndexNow steuerst du die Ankündigung.
Die Wirkung ist sofort da. Ohne IndexNow liegt eine neue Seite auf deinem Server und wartet. Mit IndexNow wird die Seite innerhalb von Stunden gecrawlt, manchmal innerhalb von Minuten. Aus einem Zeitfenster der Entdeckung von Tagen werden Stunden.
Wie IndexNow mit deiner Sitemap zusammenarbeitet
IndexNow und Sitemaps sind keine Konkurrenten. Sie arbeiten zusammen. Deine Sitemap sagt Crawlern, wie deine Inhalte aufgebaut sind und welche Priorität sie haben. IndexNow sagt Crawlern, dass sich gerade etwas geändert hat.
So läuft es ab. Du veröffentlichst eine neue Seite. IndexNow schickt automatisch eine Benachrichtigung mit dieser neuen URL an Suchmaschinen. Der Crawler erhält die Benachrichtigung und kommt sofort vorbei. Wenn er ankommt, liest er deine Sitemap, um den Kontext zu verstehen. Ist das eine Seite mit hoher oder niedriger Priorität? Wurde sie seit dem letzten Crawl aktualisiert? Gehört sie zu einem Inhaltscluster?
Die Sitemap gibt dem Crawler Kontext. IndexNow gibt ihm Tempo. Ohne Sitemaps weiss der Crawler, dass eine Seite existiert, aber nicht, wie er sie einordnen oder ob er verwandte Seiten crawlen soll. Mit beiden Werkzeugen zusammen wird die Entdeckung schnell und klug.
IndexNow einrichten
IndexNow braucht drei Dinge. Einen API-Schlüssel, der beweist, dass dir die Domain gehört. Eine Bestätigungsdatei auf deiner Domain, die den Besitz belegt. Und einen Mechanismus zum Einreichen, der URLs an die IndexNow-API schickt.
Wenn dein CMS ein offizielles IndexNow-Plugin hat, erledigt es alles automatisch. Aktiviere es, und es erzeugt deinen Schlüssel, legt die Bestätigungsdatei an und reicht URLs ein, sobald du Inhalte veröffentlichst oder aktualisierst. Du musst nur auf Installieren klicken.
Wenn du WEMASY oder eine andere moderne Plattform nutzt, bieten die meisten Hosting-Plattformen eine IndexNow-Anbindung. Prüfe deine Einstellungen für die Veröffentlichung. Wenn sie verfügbar ist, aktiviere sie.
Wenn du deinen eigenen Server betreibst oder eine Plattform ohne eingebaute Anbindung nutzt, kannst du URLs manuell über die Website von IndexNow oder über direkte API-Aufrufe einreichen. Die Dokumentation von IndexNow erklärt beide Wege.
Welche Crawler IndexNow unterstützen und warum das wichtig ist
IndexNow wird von Bing und drei weiteren Suchmaschinen unterstützt. Das sind die grossen Suchplattformen ausserhalb von Google.
Und hier die Überraschung. ChatGPT crawlt zusammen mit diesen Plattformen. Wenn Bing crawlt, kommt GPTBot oft mit. Wenn eine dieser Suchmaschinen crawlt, kann die Benachrichtigung die Indexierung für Perplexity und andere KI-Systeme beschleunigen, die auf ähnlicher Crawler-Infrastruktur beruhen.
Google unterstützt IndexNow nicht offiziell. Das ist ein Unterschied, den du kennen solltest. Google hat ein eigenes System zur Entdeckung beim Crawlen. Die Google Search Console spielt für Google eine ähnliche Rolle wie IndexNow. Aber für den Rest des KI-Umfelds ist IndexNow der Weg, neue Inhalte anzukündigen.
Viele Teams nutzen Einreichungen über die Google Search Console und über IndexNow gemeinsam. Google wird über die Search Console informiert. Das übrige KI-Umfeld wird über IndexNow informiert. Dieser doppelte Weg verkürzt die Zeit bis zur Entdeckung auf allen Plattformen.
Der Vorteil bei der Entdeckung, wenn diese Werkzeuge zusammenarbeiten
Ohne eines dieser Werkzeuge passiert Folgendes. Du veröffentlichst am Montag eine Seite. Irgendwann in dieser Woche besucht ein Crawler deine Website und entdeckt sie. Bis Freitag hat der Crawler sie verarbeitet. Bis zum folgenden Montag taucht sie vielleicht in einigen Ergebnissen auf. Die volle Entdeckung auf mehreren KI-Plattformen dauert Wochen.
Mit nur einer Sitemap beschleunigt sich die Entdeckung. Der Crawler muss deine Sitemap zwar noch finden. Aber wenn er das tut, weiss er, wo er nach deinen neuesten Inhalten suchen muss. Wenn deine Sitemap optimiert ist, verkürzt du die Zeit bis zur Entdeckung von Wochen auf 5 bis 7 Tage.
Mit nur IndexNow wird eine Seite sofort angekündigt. Aber ohne den Kontext einer Sitemap weiss der Crawler nicht, ob diese Seite mit anderen verwandten Inhalten zusammenhängt. Er crawlt die URL selbst, übersieht aber vielleicht den thematischen Cluster. Die Entdeckung ist schnell, aber unvollständig.
Mit beiden Werkzeugen zusammen bekommst du schnelle und kluge Entdeckung. IndexNow kündigt die Seite sofort an. Der Crawler crawlt sie innerhalb von Stunden. Deine Sitemap sagt ihm, dass sie zu einer Serie von drei Artikeln zum selben Thema gehört. Der Crawler bevorzugt die Serie. Alle drei Artikel werden innerhalb von 24 Stunden entdeckt und indexiert. Perplexity bemerkt den frischen Cluster. Wenn jemand im Themenfeld eine Frage stellt, können deine Inhalte zitiert werden. Aus Wochen sind Stunden geworden.
Häufig gestellte Fragen
Brauche ich eine Sitemap und IndexNow, oder reicht eins davon?
Du brauchst beides. Sitemaps sagen Crawlern, wie deine Inhalte aufgebaut sind und welche Priorität sie haben. IndexNow sagt ihnen, dass sich gerade etwas geändert hat. Eine Sitemap ohne IndexNow heisst langsame Entdeckung. IndexNow ohne Sitemap heisst schnelle Entdeckung einzelner Seiten, aber ohne Kontext für verwandte Inhalte. Beide Werkzeuge zusammen geben dir Tempo und Klugheit. Mit dem Website-Builder von WEMASY kannst du das direkt auf deiner Website einrichten.
Funktioniert IndexNow für KI-Crawler wie GPTBot und Perplexity?
IndexNow wird offiziell von Bing und drei weiteren Suchmaschinen unterstützt. ChatGPT crawlt zusammen mit Bing, daher lösen IndexNow-Benachrichtigungen oft Crawls durch GPTBot aus. Perplexity crawlt das Web direkt und reagiert auch auf Aktualisierungen der Sitemap. IndexNow ist also kein offizielles Produkt von Perplexity, beschleunigt die Entdeckung aber trotzdem, weil Perplexity eine ähnliche Infrastruktur nutzt wie die anderen unterstützten Plattformen.
Wie oft sollte ich meine Sitemap aktualisieren, wenn ich ständig Inhalte veröffentliche?
Wenn du häufig veröffentlichst, automatisiere die Aktualisierung der Sitemap. Die meisten Content-Management-Systeme aktualisieren Sitemaps automatisch, wenn du eine Seite veröffentlichst oder änderst. Auch das lastmod-Tag wird automatisch aktualisiert. Du solltest deine Sitemap-Datei nicht von Hand aktualisieren. Richte die Automatisierung ein und lass sie im Hintergrund laufen.
Sollte ich eine grosse Sitemap oder mehrere segmentierte erstellen?
Segmentierte Sitemaps schneiden 67 % besser ab als eine riesige Datei. Wenn du mehr als 500 Seiten hast, teile deine Sitemap nach Inhaltstyp oder Bereich in Segmente auf. Erstelle eine für Blogartikel, eine für Produkte, eine für Leitfäden und so weiter. Liste dann alle Segment-Sitemaps in einer Sitemap-Index-Datei auf. Crawler entdecken mehr Inhalte schneller, weil du ihnen genau gesagt hast, wo sie nach dem suchen müssen, was dir am wichtigsten ist.
Was ist, wenn ich WEMASY oder eine andere Plattform nutze, die Sitemaps automatisch erstellt?
Die meisten modernen Plattformen übernehmen Sitemaps und die Anbindung an IndexNow für dich. Prüfe deine Einstellungen. Wenn deine Plattform IndexNow unterstützt, aktiviere es. Wenn sie Sitemaps automatisch erstellt (was die meisten tun), prüfe, ob die lastmod-Daten korrekt aktualisiert werden, wenn du Inhalte veröffentlichst oder bearbeitest. Wenn die Automatisierung funktioniert, musst du nichts weiter tun.
Wie lange dauert es, bis Inhalte nach der Einreichung über IndexNow in KI-Antworten auftauchen?
Die Geschwindigkeit der Entdeckung schwankt. Manche KI-Crawler erreichen deine Inhalte innerhalb von Minuten nach einer Einreichung über IndexNow. Andere brauchen bis zu 24 Stunden. Perplexity ist tendenziell am schnellsten. Ob die Inhalte wirklich in KI-Antworten erscheinen, hängt davon ab, ob sie gut genug zum Zitieren sind. Nur weil ein Crawler deine Seite findet, heisst das nicht, dass eine KI-Engine sie nutzt. Schnellere Entdeckung hilft, aber gute Inhalte zählen mehr. Wenn deine Seite die Frage direkt beantwortet und frische Daten hat, hast du eine Chance. Wenn sie dünn oder vage ist, hilft auch schnelle Entdeckung nicht.