Faire explorer un site tout neuf : qui vient vraiment, et dans quel ordre

Certains liens de cette page sont des liens d'affiliation : si vous vous inscrivez via ces liens, ce site touche une commission, sans surcoût pour vous. Les prix et les recommandations ne changent pas.

Nous avons mis un site statique en ligne le 15 octobre, publié zéro article pendant quatre jours, puis trois articles en une soirée. Le log d’accès tournait pendant tout ce temps. Quinze jours plus tard il contient 9 987 requêtes, et l’ordre dans lequel l’internet nous a remarqués n’est pas celui que l’on prévoit.

Aucune théorie dans ce qui suit. Chaque chiffre vient de ce log.

Le premier visiteur a été un crawler d’IA, au bout de 65 minutes

La première page est passée en ligne à 13h14 UTC. Ce qui a suivi, dans l’ordre d’apparition :

Rien ne pointait encore vers le site. Aucune soumission n’avait été faite nulle part. Les crawlers d’Anthropic et d’OpenAI ont trouvé un nom d’hôte tout neuf sur un petit VPS en moins d’une heure, et se sont mis à le parcourir.

Le point pratique est là : si vous publiez des textes techniques aujourd’hui, vos premiers lecteurs sont des pipelines de récupération, et ils arrivent avant qu’un moteur de recherche sache que vous existez. Décidez votre politique robots.txt avant de publier, pas après l’avoir constaté.

Regardez ce que ClaudeBot a fait dans ses deux premières requêtes, à une seconde d’intervalle : /robots.txt, puis /. En quinze jours il a demandé ce fichier 78 fois, une fois par session d’exploration. GPTBot l’a demandé zéro fois sur la même période, tout en récupérant 391 URL. Les mêmes deux secondes d’effort, le comportement inverse. Nous y reviendrons dans un texte à part, car c’est précisément ce qui décide quelle méthode de blocage mérite d’être déployée.

Google nous a ignorés complètement jusqu’à une seule étape

Zéro requête Googlebot pendant les quatre premiers jours. Pas bridé, pas lent : absent. Le site était joignable, avait un sitemap, avait un robots.txt, et était lié depuis un domaine établi que nous exploitons aussi.

Ce qui a changé la situation, c’est la validation du domaine dans la Search Console et la soumission du sitemap. D’après le log de ce soir-là :

• 19h35 - domaine validé par un enregistrement DNS TXT.
• 19h41:31 - première requête Googlebot de l’histoire du site : /robots.txt et /sitemap.xml dans la même seconde.
• 19h42 à 19h46 - Googlebot parcourt chaque sitemap de langue à son tour.

Six minutes. On peut débattre du caractère obligatoire de la Search Console - elle ne l’est pas - mais la différence entre quatre jours de silence et six minutes est difficile à ignorer quand on part de zéro.

Prenez une propriété de domaine plutôt qu’une propriété par préfixe d’URL si vous pouvez poser un enregistrement DNS : un TXT à l’apex couvre tous les sous-domaines que vous créerez, et il survit à un passage http/https ou www qui sinon couperait vos données en deux.

Puis, trois heures vingt après Googlebot, GoogleOther est apparu et a depuis récupéré presque autant que Googlebot lui-même : 520 requêtes contre 541. C’est un crawler distinct, sur la même infrastructure, pour des produits hors recherche. Si vous décidez un jour de restreindre Google, sachez que ce sont deux noms, pas un.

Bing est venu par IndexNow, en quelques jours et sans aucun compte

IndexNow est un marché simple : vous hébergez un fichier clé, puis vous envoyez en POST la liste des URL modifiées, et les moteurs participants (Bing, Yandex, Seznam, Naver) sont prévenus immédiatement au lieu d’attendre une exploration.

Tout le protocole tient en une requête :

curl -X POST https://api.indexnow.org/indexnow \
  -H "Content-Type: application/json; charset=utf-8" \
  -d '{
    "host": "example.com",
    "key": "YOUR-KEY",
    "keyLocation": "https://example.com/YOUR-KEY.txt",
    "urlList": ["https://example.com/new-post/"]
  }'

La clé est un fichier à la racine du domaine dont le nom est la clé et dont le contenu est la même chaîne. Voilà toute la vérification : si vous pouvez déposer ce fichier, l’hôte est à vous.

Un 200 veut dire accepté, pas indexé. Mais bingbot est venu de lui-même le lendemain de notre première soumission, sans compte, sans console, sans étape de validation - trois jours avant Googlebot. Pour un nouveau site c’est une avance réelle, et elle coûte une ligne dans le pipeline de déploiement.

Le piège du fichier d’index

Voici la partie qui nous a presque bernés, et c’est le paragraphe le plus utile de ce texte.

Hugo multilingue génère sur /sitemap.xml un index de sitemaps - une liste d’autres sitemaps, un par langue - et non une liste de pages. Nous avons soumis cela, et la Search Console a répondu :

Status: Success. Discovered pages: 0.

Les deux moitiés sont vraies et semblent se contredire. L’index a été récupéré et analysé correctement, donc le statut est un succès ; l’index lui-même ne contient aucune URL de page, donc le compteur reste à zéro jusqu’à ce que les enfants soient récupérés séparément. Un coup d’œil à « Success » et vous repartez convaincu que c’est réglé.

Nous avons soumis en plus le sitemap enfant de la langue principale :

Status: Success. Discovered pages: 23.

Donc : si votre sitemap est un index, soumettez aussi les enfants par langue, et prenez le nombre de pages découvertes, pas le mot du statut, comme preuve que cela a marché. La même logique vaut pour tout générateur qui produit un index - les grosses installations WordPress avec Yoast le font, comme tout ce qui pagine ses sitemaps au-delà de 50 000 URL.

Jour 12 : la longue traîne arrive d’un coup

Pendant onze jours le log contenait huit ou neuf crawlers distincts. Puis, entre le 26 et le 29 octobre, quatorze nouveaux sont apparus en quatre jours :

ElevenlabsCrawler (448 requêtes), meta-externalagent (322), MJ12bot (319), AwarioBot (308), SofyaBot (232), SemrushBot (213), Amazonbot (96), PerplexityBot (63), DataForSeoBot (62), YandexBot (49), Applebot (30), archive.org_bot (26), Baiduspider (14), DuckDuckBot (8).

Le motif est assez net pour qu’on le planifie. Les crawlers de backlinks, ceux de veille de marque et le second rideau des crawlers d’IA ne découvrent pas les sites eux-mêmes : ils lisent les index des autres. Dès que Google et Bing vous ont, vous êtes dans un flux qui revend la découverte, et le reste suit sous quinze jours, que vous l’ayez voulu ou non.

Ce que cela coûte, mesuré : sur 153,4 Mo servis en quinze jours, 88,8 Mo sont partis vers des user agents qui se déclarent crawlers. Soit 58% de tous les octets, contre environ 4 000 requêtes de type navigateur. Sur un site statique servi par un VPS minuscule, personne ne le remarque. Sur tout ce qui rend une page par requête, c’est votre plan de capacité.

L’ordre qui fonctionne vraiment

Pour un site neuf, dans cet ordre, avec la raison de chaque étape :

1. Soyez lié depuis un endroit déjà exploré. Un lien en pied de page depuis un domaine existant vaut mieux que n’importe quel formulaire de soumission. La découverte passe encore surtout par les liens.
2. Servez un sitemap et gardez robots.txt honnête. Pointez le sitemap depuis robots.txt ; vérifiez qu’aucun des deux ne traîne depuis une config de préproduction qui interdit tout.
3. Envoyez IndexNow à chaque publication, depuis le pipeline. Pas cher, immédiat, sans compte. Cela couvre Bing et ses amis ; cela ne fait rien pour Google, qui ne participe pas.
4. Validez le domaine dans la Search Console et soumettez le sitemap - enfants compris. C’est l’étape qui a transformé quatre jours de rien en six minutes.
5. Ensuite, attendez. Être exploré n’est pas être indexé, et être indexé n’est pas être classé. Les deux premiers sont de l’infrastructure et prennent des minutes ; le troisième est du contenu et prend des mois.

Ce que nous ferions autrement

Soumettre le sitemap à la Search Console le premier jour, avant qu’il n’y ait du contenu. La validation est un enregistrement DNS et prend cinq minutes ; la faire tôt signifie que le crawler connaît déjà le site quand le premier article paraît, au lieu de démarrer le chrono après. Nous avons passé quatre jours à publier dans un vide évitable.

Le ping IndexNow, lui, est réparé : il tourne maintenant comme une étape du workflow de déploiement, au même endroit que le test de fumée post-déploiement, pour qu’une publication arrivée sur le serveur arrive aussi aux moteurs. À la main, cela veut dire oublier exactement une fois, sur l’article qui comptait.

Ce que ce log ne peut pas dire

C’est un site, une niche, une fenêtre de quinze jours, sur un nom d’hôte sans histoire. Le budget d’exploration d’un domaine établi se comporte autrement. Avec un échantillon de un, nous ne pouvons pas non plus séparer « arrivé à cause de la Search Console » de « arrivé parce que c’était le quatrième jour » : les six minutes sont un indice, pas une expérience contrôlée. Et compter les récupérations de robots.txt mesure des récupérations, pas de l’obéissance : un crawler qui lit le fichier et l’ignore ressemble exactement, dans ces données, à un crawler poli.