La découverte des pages d’un site, d’autant plus lorsqu’il est récent ou contient beaucoup de pages, peut être un processus extrêmement long. Pour commencer, votre site va recevoir la visite des robots / spiders / crawlers de google et d’autres moteurs. Ils vont regarder une page puis une autre jusqu’à quitter votre site. Ça parait simple et imparable, pour autant, ça ne se passe jamais aussi simplement que ça. D’une part la page la mieux indexée pour Google peut ne pas être celle que vous attendiez, mais surtout toutes les pages ne seront pas mécaniquement ajoutées aux SERPs, pour plusieurs raisons (pertinence, manque de popularité, contenu dupliqué, …).
Afin de rendre cette étape plus simple pour tout le monde, on pourra donner aux robots un plan du site. Pour cela, on va placer un fichier « robots.txt » à la racine de votre site. Ce fichier peut contenir de nombreuses instructions, mais aujourd’hui, le code suivant nous suffira:
Sitemap: https://www.monsite.fr/sitemap.xml
Une fois cette première étape franchie, il faut donc s’attaquer à la partie épineuse du problème qui nous réunit aujourd’hui : comment générer un fichier xml valide et bien fait qui retrace l’ensemble de mes pages ? Et bien c’est assez simple. Il existe une structure, une « langue » reconnue par l’ensemble des robots, que ce soit google, yahoo, msn live et des milliers d’autres. En voilà un aperçu:
<?xml version="1.0" encoding="UTF-8"?>
<urlsetxmlns="https://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://www.example.com/</loc>
<lastmod>2005-01-01</lastmod>
<changefreq>monthly</changefreq>
<priority>0.8</priority>
</url>
</urlset>
Pour vous donner une idée de ce que ça donne sur ce site, allez voir mon fichier sitemap.xml.
Comment générer gratuitement son sitemap ?
En partant de ce schéma officiel, de nombreux services ont vu le jour en proposant d’automatiser cette tâche pour vous. En voilà un top 3 ayant pour trait commun d’être gratuits. Chaque solution propose un angle d’approche différent et vaudra nombre de solutions payantes.
De l’ensemble des services web créant des sitemaps en ligne je n’ai retenu que celui là. Comme beaucoup de services, XML-sitemaps permet de choisir certains paramètres comme la fréquence de rafraîchissement du contenu et le calcul de l’importance des pages. Quelques secondes plus tard, le site vous donne votre sitemap utilisant les tout derniers schémas XML (0.9) supportés par le W3C en version XML ainsi que compressé GZIP. On devra quand même jeter un coup d’œil au fichier avant de le mettre en ligne mais la qualité du scan est vraiment honnête. Le site se distingue aussi en vous rappelant ou placer votre fichier sur votre serveur et comment s’assurer qu’il soit bien lu par Google.
A noter que le service gratuit se borne aux 500 premières urls, ce qui peut rapidement devenir handicapant dans le cas d’un blog par exemple. Évitez le service de broken links (facturé $5.00) sachant que Linktiger.com le fait gratuitement.
Toujours dans le monde du freeware, au tour maintenant des scripts embarqués. Imaginons que vous ayez un site tournant en PHP, ce serait quand même plus simple de pouvoir cliquer sur lien et que tout se fasse en tâche de fond pour vous: création du sitemap, mise en ligne sur le serveur et soumission aux moteurs ! Et bien c’est ce que fait PHP XML Sitemap Generator.
Ce blog tournant sous WordPress, je me devais de couvrir ce CMS. Ce plugin est non seulement l’un des mieux noté par la communauté des utilisateurs de WordPress mais il est aussi directement recommandé par Google. Mis à jour très régulièrement, on retrouvera toutes les fonctionnalités listées au sujet des scripts ou services précédents.
Bien entendu, l’excellent Yoast SEO peut aussi vous faire un très bon sitemap (en plus de vous forcer à suivre les meilleurs standards SEO. Il peut cependant manquer d’options par rapport à Google XML Sitemap Generator qui lui est dédié à la tâche.
Je fais quoi de mon sitemap ?
Quelque soit la solution retenue, une fois qu’on a un sitemap, il ne faut pas hésiter à aller le dire à Google et Bing. Tous les moteurs de recherche ont une page « webmaster » permettant de soumettre cette info. On retiendra :
Les outils permettant de soumettre votre sitemap à des centaines d’annuaires et moteurs sont assez inutiles. Mieux vaut passer un peu de temps dans les pages de configuration de Google et Bing pour s’assurer que tout s’y passe bien.
