résumé
ce document détaille comment les paramètres au niveau de la page et du texte peuvent être utilisés pour ajuster la façon dont Googleprésente votre contenu dans les résultats de recherche. Vous pouvez spécifier des paramètres au niveau de la page en incluant une page HTML meta tagon ou dans un en-tête HTTP. Vous pouvez spécifier des paramètres de niveau texte avec l’attributdata-nosnippet sur les éléments HTML d’une page.,
utilisation de la balise META DE robots
la balise META DE robots vous permet d’utiliser une approche granulaire spécifique à la page pour contrôler la façon dont une page individuelle doit être indexée et servie aux utilisateurs dans les résultats de recherche Google. Placez la balise META robots dans la section<head> d’une page donnée, comme ceci:
<!DOCTYPE html><html><head><meta name="robots" content="noindex" />(…)</head><body>(…)</body></html>
la balise META robots dans l’exemple ci-dessus indique aux moteurs de recherche de ne pas afficher la page dans searchresults. La valeur de l’attributname (robots) spécifie que thedirective s’applique à tous les robots., Pour adresser un robot spécifique, remplacez la valeur robotsde l’attribut name par le nom du robot que vous adressez.Des robots d’exploration spécifiques sont également appelés agents utilisateurs (un robot d’exploration utilise son agent utilisateur pour demander une page.) Le robot Web standard de Google a le nom de l’agent utilisateur Googlebot. Pour empêcher onlyGooglebot d’indexer votre page, mettez à jour la balise comme suit:
<meta name="googlebot" content="noindex" />
Cette balise demande maintenant spécifiquement à Google de ne pas afficher cette page dans ses résultats de recherche., Les attributsname Etcontent ne sont pas sensibles à la casse.
Les moteurs de recherche peuvent avoir des robots différents pour des propriétés ou des fins différentes. Voir la liste complète des robots D’exploration de Google., Par exemple, pour afficher une page dans les résultats de recherche Web de Google, mais pas dans Google News, utilisez la balise meta suivante:
<meta name="googlebot-news" content="noindex" />
pour spécifier plusieurs robots individuellement, utilisez plusieurs balises META robots:
<meta name="googlebot" content="noindex"><meta name="googlebot-news" content="nosnippet">
en utilisant L’en-tête HTTP X-Robots-Tag
peut être utilisé comme élément de la réponse d’en-tête HTTP pour une URL donnée. Toute directive pouvant être utilisée dans une balise META DE robots peut également être spécifiée sous la forme
X-Robots-Tag., Voici un exemple de réponse HTTP avec unX-Robots-Tagdemandant aux robots de ne pas indexer une page:
HTTP/1.1 200 OKDate: Tue, 25 May 2010 21:42:43 GMT(…)X-Robots-Tag: noindex(…)
Plusieurs X-Robots-Tag les en-têtes peuvent être combinés dans la réponse HTTP, ou vous pouvez spécifier une liste de directives séparées par des virgules. Voici un exemple d’en-tête HTTP de la réponse qui a un noarchive X-Robots-Tag combinés avec un unavailable_after X-Robots-Tag.
Le X-Robots-Tag peut éventuellement spécifier un agent utilisateur avant les directives., Par exemple, l’ensemble d’en-têtes HTTP X-Robots-Tag suivant peut être utilisé pour permettre conditionnellement l’affichage d’une page dans les résultats de recherche pour différents moteurs de recherche:
HTTP/1.1 200 OKDate: Tue, 25 May 2010 21:42:43 GMT(…)X-Robots-Tag: googlebot: nofollowX-Robots-Tag: otherbot: noindex, nofollow(…)
les Directives spécifiées sans agent utilisateur sont valides pour tous les robots d’exploration. L’en-tête HTTP, le nom de l’agent utilisateur et les valeurs spécifiées ne sont pas sensibles à la casse.
Valide indexation & desservant les directives
Les directives suivantes peuvent être utilisées pour contrôler l’indexation et la portion d’un extrait de code avec la balise meta robots et X-Robots-Tag., Dans les résultats de recherche, un extrait est un bref extrait de texte utilisé pour démontrer la pertinence d’un document pour une requête de l’utilisateur. Le tableau suivant montre toutes les directives que Google honore et leur signification. Chaque valeur représente une directive spécifique. Plusieurs directives peuvent être combinées dans une liste séparée par des virgules. Ces directives sont insensibles à la casse.
| Directives | |
|---|---|
tous |
Il n’y a pas de restrictions pour l’indexation ou à servir. Cette directive est la valeur par défaut et n’a aucun effet si elle est explicitement listée., |
noindex |
Ne pas afficher cette page dans les résultats de recherche. |
nofollow |
Ne pas suivre les liens sur cette page. |
aucun |
Équivalent à noindex, nofollow. |
noarchive |
Ne pas montrer le cache de lien dans les résultats de recherche. |
nosnippet |
N’affichez pas d’extrait de texte ou d’aperçu vidéo dans les résultats de recherche de cette page., Une vignette d’image statique (si disponible) peut toujours être visible, lorsqu’elle se traduit par une meilleure expérience utilisateur. Ceci s’applique à toutes les formes de résultats de recherche (chez Google: Recherche web, Google Images, Discover). |
max-extrait de code: |
Utiliser un maximum de les valeurs Spéciales:
Exemple: <meta name="robots" content="max-snippet:20"> |
max-image-aperçu: |
Définir la taille maximale d’une image de prévisualisation pour cette page dans les résultats de recherche. Accepté
ceci s’applique à toutes les formes de résultats de recherche (tels que Google web search, Google Images, Discover, Assistant). Cependant, cette limite ne s’applique pas dans les cas où un éditeur a accordé séparément l’autorisation d’utilisation du contenu. Par exemple, si l’éditeur fournit du contenu sous la forme de données structurées dans la page (telles que les versions AMP et canoniques d’un article) ou dispose d’un contrat de licence avec Google, ce paramètre n’interrompra pas les utilisations autorisées plus spécifiques., Les éditeurs qui ne souhaitent pas que Google utilise des vignettes plus grandes lorsque leurs pages AMP et la version canonique d’un article sont affichées dans Search ou Discover doivent spécifier une valeur Exemple: <meta name="robots" content="max-image-preview:standard"> |
max-vidéo-aperçu: |
Utiliser un maximum de les Autres valeurs:
ceci s’applique à toutes les formes de résultats de recherche (chez Google: Recherche web, Google Images, Google Vidéos, Discover, Assistant). Cette directive est ignorée si aucune valeur Exemple: <meta name="robots" content="max-video-preview:-1"> |
notranslate |
Ne pas offrir des services de traduction de cette page dans les résultats de recherche. |
noimageindex |
Ne pas indexer les images sur cette page. |
unavailable_after: |
Ne pas afficher cette page dans les résultats de recherche après la date spécifiée/heure. La date / heure doit être spécifiée dans un format largement adopté, y compris, mais sans s’y limiter, RFC 822, RFC 850 et ISO 8601. La directive est ignorée si aucun exemple: <meta name="robots" content="unavailable_after: 2020-09-21"> |
gestion des directives d’indexation et de service combinées
Vous pouvez créer une instruction Multi-directive en combinant les directives de balise META des robots avec des virgules., Voici un exemple de balise META robots qui demande aux robots d’indexation de ne pas indexer la page et de ne pas explorer les liens de la page:
<meta name="robots" content="noindex, nofollow">
Voici un exemple qui limite l’extrait de texte à 20 caractères et permet un aperçu d’image grand format:
<meta name="robots" content="max-snippet:20, max-image-preview:large">
différentes directives, Le moteur de recherche utilisera la somme des directives négatives., Par exemple:
<meta name="robots" content="nofollow"><meta name="googlebot" content="noindex">
La page contenant ces balises meta sera interprétée comme ayant une noindex, nofollow directive lorsque analysées par Googlebot.
en utilisant l’attribut HTML data-nosnippet
Vous pouvez désigner des parties textuelles d’une page HTML à ne pas utiliser comme extrait de code. Cela peut être fait au niveau de l’élément aHTML avec l’attribut HTMLdata-nosnippet sur les élémentsspan,div etsection., Le data-nosnippet est considéré comme un attribut aboolean, il est valide avec ou sans valeur. Pour assurer la lisibilité de la machine, la section HTML doit être HTML valide et toutes les balises appropriées doivent être ferméesen conséquence.
exemples:
Google rend généralement les pages afin de les indexer, mais le rendu n’est pas garanti.Pour cette raison, l’extraction de data-nosnippet peut se produire à la fois avant et après le rendu. Pour éviter l’incertitude du rendu, n’ajoutez pas ou ne supprimez pas L’attribut data-nosnippetdes nœuds existants via JavaScript., Lors de l’ajout D’éléments DOM via JavaScript, includethe data-nosnippet attribut si nécessaire lors de l’ajout initial de l’élément au DOM de thepage. Si les éléments personnalisés sont utilisés, wrap ou de les rendre avec des div,span ou section éléments si vous devez utiliser des data-nosnippet.
utilisation de données structurées
Les balises META des Robots régissent la quantité de contenu que Google extrait automatiquement des pages web pour afficher en tant que résultats de recherche. Mais de nombreux éditeurs utilisent également schema.,org structuré de données à makespecific de l’information disponible pour la recherche présentation. Les limitations des balises META Robots n’affectent pas l’utilisation de ces données structurées, à l’exception des valeursarticle.description Etdescription pour les données structurées spécifiées pour d’autres works.To spécifiez la longueur maximale d’un aperçu en fonction de ces valeurs description, utilisez la balise max-snippet robots meta., Par exemple, recipe les données structurées sur une page peuvent être incluses dans le carrousel de recettes, même si l’aperçu du texte serait autrement limité. Vous pouvez limiter la longueur d’un aperçu de texte avec max-snippet,mais cette balise META robots ne s’applique pas lorsque les informations sont fournies à l’aide de données structurées pour des résultats riches.
pour gérer l’utilisation des données structurées pour vos pages web, modifiez les types de données structurées et les valeurs elles-mêmes, en ajoutant ou en supprimant des informations afin de ne fournir que les données que vous souhaitez mettre à disposition., Notez également que les données structurées restent utilisables pour searchresults lorsqu’elles sont déclarées dans un élémentdata-nosnippet.
implémentation pratique de X-Robots-Tag
Vous pouvez ajouter leX-Robots-Tag aux réponses HTTP d’un site via les fichiers de configuration du logiciel de serveur web de votre site. Par exemple, sur les serveurs web basés sur Apache, vous pouvez utiliser.htaccess et httpd.fichiers de conf. L’avantage d’utiliser un X-Robots-Tag avec HTTPresponses est que vous pouvez spécifier des directives d’exploration qui sont appliquées globalement sur un site., Le support des expressions régulières permet un haut niveau de flexibilité.
par exemple, Pour ajouter une balise noindex, nofollow X-Robots-Tag à la HTTPresponse pour tous .Fichiers PDF sur l’ensemble d’un site, ajoutez l’extrait suivant à la racine du site.fichier htaccess ou httpd.fichier conf sur Apache, ou sur le site .fichier conf sur Nginx
Apache:
<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex, nofollow"</Files>
NGINX:
location ~* \.pdf$ { add_header X-Robots-Tag "noindex, nofollow";}
Vous pouvez utiliser le X-Robots-Tag pour les fichiers non-HTML comme les fichiers image où l’utilisation des balises META robots en HTML n’est pas possible., Voici un exemple d’ajout d’une balise noindexX-Robots-Tag directive pour les fichiers images (.png, .jpeg, .jpg, .gif) à travers un site entier:
Apache:
<Files ~ "\.(png|jpe?g|gif)$"> Header set X-Robots-Tag "noindex"</Files>
NGINX:
location ~* \.(png|jpe?g|gif)$ { add_header X-Robots-Tag "noindex";}
combinant l’exploration avec des directives d’indexation / de service
Robots meta tags et X-Robots-Tag les en-têtes HTTP sont découverts lorsqu’une URL est explorée.Si une page n’est pas autorisée à parcourir les robots.fichier txt, alors toutes les informations surindexer ou servir des directives ne seront pas trouvées et seront donc ignorées., Si les directives indexing orserving doivent être suivies, les URL contenant ces directives ne peuvent pas être interdites fromcrawling.