Skip to content

[SEO T1.7] Déclare le sitemap dans le robots.txt - #2469

Draft
xavierleune wants to merge 1 commit into
masterfrom
seo/t1.7-robots-sitemap
Draft

xavierleune wants to merge 1 commit into
masterfrom
seo/t1.7-robots-sitemap

Conversation

@xavierleune

Copy link
Copy Markdown
Member

Contexte

Le robots.txt ne déclare pas le sitemap. L'index /sitemap.xml (généré par PrestaSitemapBundle) n'est donc découvert par les moteurs que s'il est soumis à la main dans leurs consoles.

Changements

  • htdocs/robots.txt : ajout de Sitemap: https://afup.org/sitemap.xml en tête de fichier, séparée du reste par une ligne vide. La directive Sitemap ne dépend d'aucun groupe User-agent. Les blocages des robots IA ne changent pas.

Tests

  • Nouvelle feature tests/behat/features/PublicSite/Robots.feature :
    • /robots.txt répond 200 et contient Sitemap: https://afup.org/sitemap.xml ;
    • /sitemap.xml répond 200 et contient <sitemapindex : l'URL déclarée est bien un index de sitemaps.
  • Preuve du rouge : avec le robots.txt de master, le premier scénario échoue (« The string "Sitemap: https://afup.org/sitemap.xml" was not found ») ; quand l'import des routes Presta est retiré temporairement, le second échoue (404 au lieu de 200). Les deux repassent au vert une fois le code restauré.

Points d'attention

  • L'URL est écrite en dur avec le domaine de production (https://afup.org) : le fichier est statique et servi par Apache, si bien qu'on ne peut pas le rendre dynamique sans changer d'approche. Le test vérifie donc la chaîne de production telle quelle.
  • La ligne est en tête de fichier pour éviter un conflit avec la branche seo/t1.6-joindin-nofollow, qui ajoute un bloc User-agent: * en fin de fichier. Le merge devrait se faire sans conflit.

🤖 Generated with Claude Code

Les moteurs ne découvrent l'index /sitemap.xml (généré par
PrestaSitemapBundle) que s'il est soumis à la main ou déclaré dans le
robots.txt. La directive Sitemap est indépendante des groupes
User-agent : elle est placée en tête de fichier, sans toucher aux
blocages des robots IA.

Un scénario Behat vérifie la présence de la directive et que l'URL
déclarée répond bien un index de sitemaps.
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant