Les sitemaps vous aident à organiser votre site Web. Ils aident également les moteurs de recherche atteignant chacune de vos pages contenant votre site Web et de le retourner dans les requêtes de recherche publiées par les utilisateurs. Dans cet article je vais vous expliquer pourquoi les sitemaps sont importants et comment en créer pour votre site Web. Nous examinerons pour cela deux méthodes automatisées et manuelles pour créer un sitemap.

Avant d’entrer dans le détail, voyons à quoi vous servent les sitemaps sur votre site Web. Un sitemap (plan du site) est un modèle hiérarchique visuel des pages d’un site Web. Le plan d’un site Web (sitemap) aide les utilisateurs à naviguer dans le site qui a plus d’une page, en montrant à l’internaute un schéma de l’ensemble du contenu du site. Similaire à la table des matières d’un livre, le plan d’un site permet à l’utilisateur de trouver des informations sur celui-ci sans avoir à naviguer à travers les nombreuses pages du site. En outre, dans le référencement (SEO), le sitemap permet à un robot d’indexation de trouver toutes les pages du site qu’il parcourt. Les sitemaps aident à l’indexation d’un site car ils permettent de s’assurer que toutes les pages sont accessibles par les robots d’indexation, facilitant ainsi leur travail. Il s’agit en général d’une page web qui permet à l’internaute d’accéder rapidement à l’ensemble des documents proposés sur le site, généralement organisés de façon hiérarchique. Cela aide les visiteurs et les robots des moteurs de recherche à trouver des pages sur le site.

Comment un sitemap marche ?

Un sitemap est un moyen facile pour les webmasters d’indiquer aux moteurs de recherche les pages de leurs sites qui sont disponibles pour l’analyse. Dans sa forme la plus simple, un sitemap est un fichier XML qui répertorie les URL d’un site ainsi que des métadonnées complémentaires sur chaque URL (la date de dernière modification de la ressource correspondant à une URL, la fréquence estimée de modification de cette ressource, l’importance relative de cette URL dans le site web) de sorte que les moteurs de recherche explorent plus intelligemment le site.

Les moteurs de recherche Web analysent généralement les liens des pages dans le site mais également sur d’autres sites. Un sitemap fournit ces données pour permettre aux moteurs de recherche d’utiliser ces informations pour optimiser le référencement de votre site Web. Mais comme toujours, la manière dont ils utilisent exactement ces informations est vague. Ils déconseillent en tout cas de ‘tricher’ sur ces valeurs (par exemple en déclarant artificiellement une fréquence de rafraichissement qui n’est pas respectée).

L’utilisation du protocole sitemap ne vous garantit pas que vos pages Web seront incluses dans les moteurs de recherche, mais fournit des indications aux robots Web pour faire un meilleur travail d’exploration sur votre site. Si votre site rencontre des problèmes d’indexation, avec une structure de liens internes pauvres, ou tombe dans l’une des trois situations décrites par Google, utiliser un sitemap est probablement une bonne idée.

Il existe deux types principaux de sitemap : ceux en HTML et ceux en XML.

• Un plan de site en HTML est une page de votre site présentant tous les liens vers toutes les autres pages importantes de votre site. Vous pouvez voir un exemple ici. Le sitemap n’est rien de plus qu’un plan de site HTML
• Un sitemap XML fait à peu près la même chose, mais au lieu d’utiliser l’HTML (qu’un navigateur peut interpréter comme n’importe quelle autre page), il utilise le langage XML, qui est un langage de balisage pour encoder des documents. Cela signifie que le plan du site XML ne sera utile et n’aura de sens uniquement pour les robots d’indexations, tandis que le plan de site HTML sera aussi visible et utile pour des visiteurs humains

XML est un langage de codage utilisé comme standard par les robots d’indexations pour trouver et analyser le sitemap. La construction d’un sitemap XML sera décrit dans les prochaines parties de l’article. Les instructions du sitemap sont données dans un fichier nommé robots.txt. Il permet d’éviter l’indexation de toute ou partie d’un site par les robots des moteurs de recherche ou par un robot spécifique. Un exemple de fichier est également donné dans les parties suivantes.
Le plan de site peut améliorer l’optimisation des moteurs de recherche d’un site en faisant en sorte que toutes les pages puissent être trouvées. Ceci est particulièrement important si votre site utilise un accès dynamique à des contenus tels que les menus réalisés avec Adobe Flash ou JavaScript qui ne comprennent pas les liens HTML.

Ils agissent également comme une aide à la navigation en fournissant un aperçu du contenu d’un site d’un seul regard.

Google a présenté Google Sitemaps, en Juin 2005, afin que les développeurs Web puissent publier des listes de liens à travers leurs sites. Le principe de base est que certains sites ont un grand nombre de pages dynamiques qui ne sont disponibles que grâce à l’interaction utilisateur. Les fichiers sitemap peuvent ensuite être utilisés pour indiquer à un robot d’indexation les pages qui peuvent être trouvées. Désormais Google, Bing, Yahoo et Ask supportent conjointement le protocole sitemap.

Depuis, les quatre plus grands moteurs de recherche utilisent le même protocole, en recueillant un sitemap permettant d’avoir des informations sur les pages mises à jour. Un sitemap ne garantit pas que tous les liens seront explorés, et que s’ils sont en cours d’analyse, il ne garantit pas qu’ils seront indexés. Toutefois, un plan de site est toujours la meilleure assurance qu’un moteur de recherche obtienne la totalité des pages de votre site Web.

Les sitemaps XML ont remplacé l’ancienne méthode de « soumettre aux moteurs de recherche » en remplissant un formulaire sur la page de soumission du moteur de recherche. Maintenant les développeurs Web peuvent envoyer directement un sitemap, ou attendre le parcours d’un moteur de recherche pour le trouver.

XML est beaucoup plus précis que le codage HTML : les erreurs ne sont pas tolérées et la syntaxe doit être exacte. Il existe des générateurs automatiques de plan de site XML disponibles (à la fois logiciels et applications Web) pour des sites plus complexes.

Note : Une liste vous sera fournie à la fin de l’article dans la partie ressources.

Le protocole sitemap permet donc à un webmaster d’indiquer aux moteurs de recherche les URL sur un site Web disponibles pour l’analyse. Le sitemap est un fichier XML qui répertorie les URL du site. Comme je vous l’ai dit plus haut, il est également possible d’inclure des informations complémentaires sur chaque URL permettant aux moteurs de recherche d’explorer le site plus intelligemment.
Généralement le sitemap est le protocole d’inclusion et est complété par le fichier robots.txt qui est un protocole d’exclusion d’URL.

Les sitemaps sont particulièrement utiles sur les sites où:

• some areas of the website are not available through the browsable interface, or
• webmasters use rich Ajax, Silverlight, or Flash content that is not normally processed by search engines.

[Wikipedia – Sitemaps]

Faut-il un sitemap pour mon site Web ? Si oui, pourquoi ?

Si un site Web a des centaines de pages, il peut devenir assez chaotique de mettre tous les liens dans la barre de navigation. En dehors de cela, les deux navigateurs que sont l’homme et le moteur de recherche ont besoin d’un accès facile pour trouver toutes les pages d’un site. Par conséquent, un plan du site est essentiel ! Il leur donne un outil simple de navigation. L’absence d’un plan du site peut être la raison pour laquelle votre site n’a pas été complètement indexé. Si vous utilisez plusieurs pages, certains moteurs de recherche auront des difficultés à les indexer.

L’utilisation des sitemaps a de nombreux avantages, non seulement la navigation est plus aisée mais ils permettent aussi d’avoir une meilleure visibilité par les moteurs de recherche. Ils offrent la possibilité d’indiquer immédiatement aux moteurs de recherche de tout changement sur votre site. Bien sûr, ne vous attendez pas à ce que les moteurs de recherche se précipitent tout de suite pour indexer vos pages modifiées mais les changements seront certainement indexés plus vite, que si vous n’aviez pas de plan de site.

Votre site est nouveau, vous avez un nombre important de nouvelles pages ou récemment mises à jour, utiliser un sitemap est essentiel pour votre succès. Bien que vous n’êtes pas obligé d’utiliser cette technique, il est probable que les sitemaps deviendront le moyen standard de soumettre un site aux moteurs de recherche.

La raison pour laquelle un plan de site est indispensable, c’est parce qu’il aide vos visiteurs à comprendre la structure du site ainsi que sa mise en page et donc d’accéder rapidement à ce que votre site offre.
Un sitemap est une page dans laquelle la structure d’un site Web est clairement montrée à un visiteur. Ce dernier peut alors choisir la page à laquelle il veut accéder d’un simple clic.

En tant que développeur Web votre objectif est que toutes vos pages publiques sur votre site Web se retrouvent dans la base de données des moteurs de recherche.
Le plan du site est également important dans la phase de conception de votre site Web. Il vous aide dans la planification de votre site avant même de commencer à le créer. Une fois que vous avez décidé quelles sont les pages que vous voulez, votre travail est en fait beaucoup plus simple lorsque vous commencez à concevoir des pages Web. Une structure de site vous aide à comprendre le nombre de pages et comment elles seraient disposées.

En revanche, pour la plupart des sites Web « simples », un sitemap n’est pas nécessaire du tout, voire inutile dans les cas suivants :

• si tous les liens de votre site sont accessibles par la racine ou récursivement. C’est le cas le plus fréquent
• si votre site n’a pas de contenu intéressant d’un point de vue SEO qui est rafraichi très régulièrement

Comment faire pour créer un sitemap ?

Le format du protocole sitemap se compose de balises XML. Le fichier lui-même doit être en UTF-8. Un sitemap peut aussi être une simple liste d’URL en texte brut. Ils peuvent également être compressés au format .gz.

Une fois que votre site Web est prêt avec votre plan de site en XML, vous pouvez (c’est une forte recommandation) publier votre site sur votre serveur, puis notifier Google par l’outil qu’il propose : Webmaster Tools. Ce dernier va vous permettre d’ajouter votre sitemap à votre compte Google.

Typiquement, il y a deux façons de générer un plan du site :

• 1 – Vous pouvez installer un script, générateur de sitemap sur votre site Web
• 2 – Vous pouvez utiliser un outil en ligne de génération de sitemap pour créer le votre

Bien que la première option soit difficile, elle vous offre plus de contrôle sur le résultat final. Google Sitemap Generator est un bon outil qui peut être utilisé pour générer votre plan de site. Depuis l’outil est codé en Python, et vous devrez avoir au minimum une version 2.2 de Python sur votre serveur Web pour l’exécuter.

La deuxième méthode de génération d’un sitemap, tout en étant plus facile, ne vous donne pas beaucoup de souplesse. Google propose également des outils tiers qui peuvent vous aider à créer des sitemaps, mais avertit les utilisateurs qu’ils n’ont pas été testés, ni vérifiés par eux-même.
Cette méthode est tentante : très peu de travail pour un résultat professionnel ! Cependant, attention aux fausses promesses…

Sous WordPress …

Sous WordPress, générer son sitemap est assez simple, grâce au plugin Google XML Sitemaps.

Dès lors que vous aurez installé le plugin sur votre instance de WordPress, un sitemap sera crée automatiquement et deux fichiers feront leur apparition à la racine de votre blog : sitemap.xml et sitemap.xml.gz.

Note : Vous pouvez effectuer quelques réglages dans le panneau d’administration. Personnellement, je n’y ai pas touché…

… par générateur en ligne

Ces outils ont tendance à être beaucoup plus simple à utiliser que les générateurs hors ligne et devraient être faits pour la plupart des sites Web. Tout ce que vous devez faire, c’est fournir l’URL de votre propre page et votre site sera analysé et un sitemap sera produit.

Comment informer les moteurs de recherche de votre sitemap ?

Contrairement au fichier robots.txt, il ne suffit pas de mettre un sitemap sur votre site pour qu’un robot le trouve. En effet il n’y a pas de convention de nommage précise sur ce fichier (il peut y en avoir plusieurs, le fichier peut être zippé etc…). Vous devez par conséquent le déclarer explicitement aux moteurs de recherche auxquels vous vous intéressez particulièrement.

Dès que votre plan de site est créé, il vous suffit de le télécharger sur votre serveur Web puis alerter Google, Yahoo et Bing…

Conclusion

Cette présentation sur la raison et la manière de créer un sitemap touche à sa fin. Nous avons pu voir qu’il existait différente manière de le générer.

Si l’on devait retenir deux points importants de cet article, je dirais qu’un sitemap doit être quasiment généré pour chacun de vos sites Web en utilisant un outil en ligne comme le propose Google. Cela vous demandera peut d’effort pour un résultat garantie.

Ressources

Pour en savoir plus :

• Google sitemaps: Des informations officielles Google sur les sitemaps
• Sitemaps : Analyse du protocole
• SlickPlan: Création visuelle de votre sitemap

Avez-vous déjà utilisé une de ces méthodes de génération ? Quel en est votre retour ?