Wie eine neue Website gecrawlt wird: wer wirklich kommt, und in welcher Reihenfolge

Einige Links auf dieser Seite sind Affiliate-Links: bei einer Anmeldung darüber erhält diese Seite eine Provision, für Sie ohne Mehrkosten. Preise und Empfehlungen bleiben davon unberührt.

Wir haben am 15. Oktober eine statische Website online gestellt, vier Tage nichts veröffentlicht und dann an einem Abend drei Artikel. Das Access-Log lief die ganze Zeit mit. Fünfzehn Tage später stehen 9.987 Anfragen darin, und die Reihenfolge, in der das Internet uns bemerkt hat, ist nicht die, mit der man plant.

Keine Theorie im Folgenden. Jede Zahl stammt aus diesem Log.

Der erste Besucher war ein KI-Crawler, nach 65 Minuten

Die erste Seite ging um 13:14 UTC online. Was danach passierte, in der Reihenfolge des ersten Auftretens:

Noch verlinkte nichts auf die Website. Nirgends war etwas eingereicht worden. Die Crawler von Anthropic und OpenAI fanden einen neuen Hostnamen auf einem kleinen VPS innerhalb einer Stunde und begannen ihn abzulaufen.

Der praktische Punkt: wenn Sie heute technische Texte veröffentlichen, sind Ihre ersten Leser Retrieval-Pipelines, und sie kommen, bevor irgendeine Suchmaschine von Ihnen weiß. Entscheiden Sie Ihre robots.txt-Politik vor der Veröffentlichung, nicht danach.

Beachten Sie, was ClaudeBot in seinen ersten zwei Anfragen tat, eine Sekunde auseinander: /robots.txt, dann /. In fünfzehn Tagen hat er die Datei 78 Mal geholt, einmal pro Crawl-Sitzung. GPTBot hat sie im selben Zeitraum null Mal geholt und dabei 391 URLs abgerufen. Dieselben zwei Sekunden Aufwand, gegenteiliges Verhalten. Darauf kommen wir in einem eigenen Text zurück, denn genau das entscheidet, welche Blockiermethode sich lohnt.

Google hat uns komplett ignoriert, bis ein Schritt getan war

Null Googlebot-Anfragen in den ersten vier Tagen. Nicht gedrosselt, nicht langsam: abwesend. Die Website war erreichbar, hatte eine Sitemap, hatte robots.txt und war von einer etablierten Domain verlinkt, die wir ebenfalls betreiben.

Geändert hat es die Domain-Bestätigung in der Search Console samt Sitemap-Einreichung. Aus dem Log dieses Abends:

• 19:35 - Domain per DNS-TXT-Eintrag bestätigt.
• 19:41:31 - erste Googlebot-Anfrage der Website-Geschichte: /robots.txt und /sitemap.xml in derselben Sekunde.
• 19:42 bis 19:46 - Googlebot läuft jede Sprach-Sitemap der Reihe nach ab.

Sechs Minuten. Man kann darüber streiten, ob die Search Console formal nötig ist - sie ist es nicht -, aber der Unterschied zwischen vier Tagen Stille und sechs Minuten lässt sich schwer ignorieren, wenn man bei null anfängt.

Nehmen Sie eine Domain-Property statt einer URL-Präfix-Property, wenn Sie einen DNS-Eintrag setzen können: ein TXT am Apex deckt jede Subdomain ab, die Sie je anlegen, und übersteht einen Wechsel von http auf https oder www, der Ihre Daten sonst auf zwei Properties aufteilt.

Drei Stunden und zwanzig Minuten nach Googlebot erschien dann GoogleOther und hat seither fast so viel geholt wie Googlebot selbst: 520 Anfragen gegen 541. Es ist ein separater Crawler auf derselben Infrastruktur für Produkte jenseits der Suche. Wenn Sie Google je einschränken: es sind zwei Namen, nicht einer.

Bing kam über IndexNow, in Tagen und ohne jedes Konto

IndexNow ist ein einfacher Deal: Sie hosten eine Key-Datei, schicken dann per POST eine Liste geänderter URLs, und teilnehmende Suchmaschinen (Bing, Yandex, Seznam, Naver) erfahren es sofort statt auf einen Crawl zu warten.

Das ganze Protokoll ist eine Anfrage:

curl -X POST https://api.indexnow.org/indexnow \
  -H "Content-Type: application/json; charset=utf-8" \
  -d '{
    "host": "example.com",
    "key": "YOUR-KEY",
    "keyLocation": "https://example.com/YOUR-KEY.txt",
    "urlList": ["https://example.com/new-post/"]
  }'

Der Key ist eine Datei im Domain-Root, deren Name der Key ist und deren Inhalt derselbe String. Das ist die gesamte Verifikation: wer die Datei dort ablegen kann, besitzt den Host.

Eine 200 heißt angenommen, nicht indexiert. Aber bingbot kam von sich aus am Tag nach unserer ersten Meldung, ohne Konto, ohne Konsole, ohne Bestätigungsschritt - drei Tage vor Googlebot. Für eine neue Website ist das ein echter Vorsprung, und er kostet eine Zeile in der Deploy-Pipeline.

Die Index-Datei-Falle

Hier ist der Teil, der uns beinahe hereingelegt hat, und es ist der nützlichste Absatz des Textes.

Mehrsprachiges Hugo erzeugt unter /sitemap.xml einen Sitemap-Index - eine Liste anderer Sitemaps, eine pro Sprache - und keine Liste von Seiten. Wir haben den eingereicht, und die Search Console meldete:

Status: Success. Discovered pages: 0.

Beide Hälften sind wahr und sehen widersprüchlich aus. Der Index wurde korrekt geholt und geparst, also ist der Status ein Erfolg; der Index selbst enthält keine Seiten-URLs, also bleibt die Zahl bei null, bis die Kinddateien separat geholt werden. Ein kurzer Blick auf “Success”, und man geht in der Überzeugung weg, die Arbeit sei getan.

Wir haben zusätzlich die Kindsitemap der Hauptsprache eingereicht:

Status: Success. Discovered pages: 23.

Also: wenn Ihre Sitemap ein Index ist, reichen Sie die Sprach-Kinddateien mit ein, und nehmen Sie die Zahl der gefundenen Seiten als Erfolgsmaß, nicht das Statuswort. Dasselbe gilt für jeden Generator, der einen Index ausgibt - große WordPress-Installationen mit Yoast tun das, und alles, was seine Sitemaps über 50.000 URLs hinaus paginiert, ebenso.

Tag 12: der Rattenschwanz kommt auf einmal

Elf Tage lang standen acht oder neun verschiedene Crawler im Log. Dann erschienen zwischen dem 26. und 29. Oktober innerhalb von vier Tagen vierzehn neue:

ElevenlabsCrawler (448 Anfragen), meta-externalagent (322), MJ12bot (319), AwarioBot (308), SofyaBot (232), SemrushBot (213), Amazonbot (96), PerplexityBot (63), DataForSeoBot (62), YandexBot (49), Applebot (30), archive.org_bot (26), Baiduspider (14), DuckDuckBot (8).

Das Muster ist sauber genug, um damit zu planen. Backlink-Crawler, Brand-Monitoring-Crawler und die zweite Reihe der KI-Crawler entdecken Websites nicht selbst - sie lesen die Indizes anderer. Sobald Google und Bing Sie haben, sind Sie in einem Strom, der Entdeckung weiterverkauft, und der Rest folgt innerhalb von zwei Wochen, ob gewollt oder nicht.

Was das kostet, gemessen: von 153,4 MB in fünfzehn Tagen gingen 88,8 MB an User Agents, die sich selbst als Crawler ausweisen. Das sind 58% aller Bytes, gegen etwa 4.000 browserartige Anfragen. Auf einer statischen Seite von einem winzigen VPS merkt das niemand. Bei allem, was pro Anfrage rendert, ist das Ihre Kapazitätsplanung.

Die Reihenfolge, die wirklich funktioniert

Für eine neue Website, in dieser Reihenfolge, mit dem Grund für jeden Schritt:

1. Lassen Sie sich von etwas verlinken, das schon gecrawlt wird. Ein Footer-Link von einer bestehenden Domain ist mehr wert als jedes Einreichungsformular. Entdeckung läuft noch immer überwiegend über Links.
2. Liefern Sie eine Sitemap aus und halten Sie robots.txt ehrlich. Verweisen Sie aus der robots.txt auf die Sitemap; stellen Sie sicher, dass keine der beiden aus einer Staging-Konfiguration stammt, die alles verbietet.
3. Schicken Sie IndexNow bei jeder Veröffentlichung, aus der Pipeline. Billig, sofort, ohne Konto. Deckt Bing und Umfeld ab; für Google tut es nichts, weil Google nicht teilnimmt.
4. Bestätigen Sie die Domain in der Search Console und reichen Sie die Sitemap ein - samt Kinddateien. Dieser Schritt hat aus vier Tagen nichts sechs Minuten gemacht.
5. Dann warten. Gecrawlt zu werden ist nicht indexiert zu sein, und indexiert zu sein ist nicht zu ranken. Die ersten zwei sind Infrastruktur und dauern Minuten; das dritte ist Inhalt und dauert Monate.

Was wir anders machen würden

Die Sitemap am ersten Tag in der Search Console einreichen, bevor es Inhalte gibt. Die Bestätigung ist ein DNS-Eintrag und dauert fünf Minuten; früh gemacht, kennt der Crawler die Website schon, wenn der erste Artikel erscheint, statt die Uhr danach zu starten. Wir haben vier Tage in eine Leere veröffentlicht, die vermeidbar war.

Den IndexNow-Ping haben wir repariert: er läuft jetzt als Schritt im Deploy-Workflow, an derselben Stelle wie der Smoke-Test nach dem Deploy, damit eine Veröffentlichung, die den Server erreicht, auch die Suchmaschinen erreicht. Von Hand heißt: genau einmal vergessen, beim Artikel, auf den es ankam.

Was dieses Log nicht sagen kann

Es ist eine Website, eine Nische, ein Fenster von fünfzehn Tagen, auf einem Hostnamen ohne Geschichte. Crawl-Budget einer etablierten Domain verhält sich anders. Wir können bei einer Stichprobe von eins auch nicht trennen, ob etwas “wegen der Search Console” kam oder “weil es der vierte Tag war” - die sechs Minuten sind ein Indiz, kein kontrolliertes Experiment. Und robots.txt-Abrufe messen Abrufe, nicht Gehorsam: ein Crawler, der die Datei liest und ignoriert, sieht in diesen Daten genauso aus wie ein höflicher.