Abstract
Este documento detalla cómo se puede usar la configuración de nivel de Página y texto para ajustar cómo Googlepresenta su contenido en los resultados de búsqueda. Puede especificar la configuración de nivel de Página mediante la inclusión de un meta tagon páginas HTML o en un encabezado HTTP. Puede especificar la configuración de nivel de texto con el atributo data-nosnippet en los elementos HTML de una página.,
usando la etiqueta meta robots
la etiqueta meta robots le permite utilizar un enfoque granular y específico de la página para controlar cómo una página individual debe ser indexada y servida a los usuarios en los resultados de búsqueda de Google. Coloque la etiqueta meta robots en la sección <head> de una página dada, de la siguiente manera:
<!DOCTYPE html><html><head><meta name="robots" content="noindex" />(…)</head><body>(…)</body></html>
la etiqueta meta robots en el ejemplo anterior indica a los motores de búsqueda que no muestren la página en los resultados de búsqueda. El valor del atributo name (robots) especifica que la directiva se aplica a todos los rastreadores., Para abordar un rastreador específico, reemplace el valor robotsdel atributo name por el nombre del rastreador al que se dirige.Los rastreadores específicos también se conocen como agentes de usuario (un rastreador utiliza su agente de usuario para solicitar una página.) El rastreador web estándar de Google tiene el nombre de agente de usuario Googlebot. Para evitar que onlyGooglebot indexe tu página, actualiza la etiqueta de la siguiente manera:
<meta name="googlebot" content="noindex" />
Esta etiqueta ahora indica a Google específicamente que no muestre esta página en sus resultados de búsqueda., Los atributosname y content no distinguen entre mayúsculas y minúsculas.
Los motores de búsqueda pueden tener diferentes rastreadores para diferentes propiedades o propósitos. Ver la lista completa de los rastreadores de Google., Por ejemplo, para mostrar una página en los resultados de búsqueda web de Google, pero no en Google News, use la siguiente meta etiqueta:
<meta name="googlebot-news" content="noindex" />
para especificar varios rastreadores individualmente, use múltiples meta etiquetas de robots:
<meta name="googlebot" content="noindex"><meta name="googlebot-news" content="nosnippet">
Usando el encabezado HTTP X-Robots-Tag
el X-Robots-Tag se puede utilizar como un elemento de la respuesta del encabezado HTTP para una URL dada. Cualquier directiva que se pueda usar en una meta etiqueta de robots también se puede especificar como X-Robots-Tag., Este es un ejemplo de una respuesta HTTP con un X-Robots-Tag ordenando a los rastreadores que no indexen una página:
HTTP/1.1 200 OKDate: Tue, 25 May 2010 21:42:43 GMT(…)X-Robots-Tag: noindex(…)
múltiples encabezados X-Robots-Tag se pueden combinar dentro de la respuesta HTTP, o puede especificar una lista de directivas separadas por comas. He aquí un ejemplo de un encabezado HTTP de respuesta que tiene un noarchive X-Robots-Tag combinado con un unavailable_after X-Robots-Tag.
el X-Robots-Tag puede especificar opcionalmente un agente de usuario antes de las directivas., Por ejemplo, el siguiente conjunto de encabezados HTTP X-Robots-Tag se puede usar para permitir condicionalmente la visualización de una página en los resultados de búsqueda para diferentes motores de búsqueda:
HTTP/1.1 200 OKDate: Tue, 25 May 2010 21:42:43 GMT(…)X-Robots-Tag: googlebot: nofollowX-Robots-Tag: otherbot: noindex, nofollow(…)
Las directivas especificadas sin un agente de usuario son válidas para todos los rastreadores. El encabezado HTTP, el nombre del agente de usuario y los valores especificados no distinguen entre mayúsculas y minúsculas.
Valid indexing& serving directives
las siguientes directivas se pueden utilizar para controlar la indexación y el servicio de un fragmento de código con la etiqueta meta robots y elX-Robots-Tag., Dentro de los resultados de búsqueda, Un fragmento es un breve extracto de texto utilizado para demostrar la relevancia de un documento para la consulta de un usuario. La siguiente tabla muestra todas las directivas que Google respeta y su significado. Cada valor representa una directiva específica. Se pueden combinar varias directivas en una lista separada por comas. Estas directivas no distinguen entre mayúsculas y minúsculas.
| Directivas | |
|---|---|
todos |
no Hay restricciones para la indexación o servir. Esta directiva es el valor por defecto y no tiene efecto si se indica explícitamente., |
noindex |
no mostrar esta página en los resultados de búsqueda. |
nofollow |
no siga los enlaces en esta página. |
ninguno |
Equivalente a noindex, nofollow. |
noarchive |
no mostrar una caché de enlace en los resultados de búsqueda. |
nosnippet |
no muestre un fragmento de texto ni una vista previa de vídeo en los resultados de búsqueda de esta página., Una miniatura de imagen estática (si está disponible) puede seguir siendo visible, cuando se traduce en una mejor experiencia de usuario. Esto se aplica a todas las formas de resultados de búsqueda (en Google: Búsqueda web, Google Images, Discover). |
Max-snippet: |
utilice un máximo de caracteres valores especiales:
Ejemplo: <meta name="robots" content="max-snippet:20"> |
Max-image-preview: |
establezca el tamaño máximo de una vista previa de imagen para esta página en los resultados de búsqueda. Aceptado
esto se aplica a todas las formas de resultados de búsqueda (como Google web search, Google Images, Discover, Assistant). Sin embargo, este límite no se aplica en los casos en que un editor haya otorgado permiso por separado para el uso del contenido. Por ejemplo, si el Editor proporciona contenido en forma de datos estructurados en la página (como AMP y versiones canónicas de un artículo) o tiene un acuerdo de licencia con Google, esta configuración no interrumpirá esos usos permitidos más específicos., Los editores que no deseen que Google utilice imágenes en miniatura más grandes cuando se muestren sus páginas AMP y la versión canónica de un artículo en Search o Discover deben especificar un valor ejemplo: <meta name="robots" content="max-image-preview:standard"> |
MAX-Video-preview: |
Use un máximo de otros valores admitidos:
esto se aplica a todas las formas de resultados de búsqueda (en Google: Búsqueda web, Imágenes de Google, Videos de Google, descubrir, Asistente). Esta directiva es ignorada si no se especifica ningún parseable Ejemplo: <meta name="robots" content="max-video-preview:-1"> |
notranslate |
no ofrecemos la traducción de esta página en los resultados de búsqueda. |
noimageindex |
no de índice de imágenes en esta página. |
unavailable_after: |
no mostrar esta página en los resultados de búsqueda después de la fecha/hora especificadas. La fecha / hora debe especificarse en un formato ampliamente adoptado que incluya, entre otros, RFC 822, RFC 850 e ISO 8601. La directiva se ignora si no se especifica ningún ejemplo: <meta name="robots" content="unavailable_after: 2020-09-21"> |
manejando directivas combinadas de indexación y servicio
puede crear una instrucción multi-directiva combinando directivas de meta etiquetas de robots con comas., Aquí hay un ejemplo de una meta etiqueta de robots que instruye a los rastreadores web a no indexar la página y no rastrear ninguno de los enlaces en la página:
<meta name="robots" content="noindex, nofollow">
Aquí hay un ejemplo que limita el fragmento de texto a 20 caracteres, y permite una vista previa de imagen grande:
<meta name="robots" content="max-snippet:20, max-image-preview:large">
para situaciones en las que se especifican varios rastreadores Directivas, el motor de búsqueda utilizará la suma de las directivas negativas., Por ejemplo:
<meta name="robots" content="nofollow"><meta name="googlebot" content="noindex">
la página que contiene estas meta etiquetas se interpretará como que tiene una directiva noindex, nofollow cuando sea rastreada por Googlebot.
Usando el atributo HTML data-nosnippet
puede designar partes textuales de una página HTML para que no se usen como un fragmento. Esto se puede hacer en el nivel de elemento aHTML con el atributo HTML data-nosnippet en los elementos span,div y section., El data-nosnippet se considera un atributo coolean, es válido con o sin un valor. Para garantizar la legibilidad de la máquina, la sección HTML debe ser HTML válido y todas las etiquetas apropiadas deben cerrarse de acuerdo.
ejemplos:
Google normalmente renderiza páginas para indexarlas, sin embargo, el renderizado no está garantizado.Debido a esto, la extracción de data-nosnippet puede ocurrir tanto antes como después de la entrega. Para evitar la incertidumbre de la representación, no agregue ni elimine el atributo data-nosnippet de nodos existentes a través de JavaScript., Al agregar elementos DOM a través de JavaScript, incluya el atributo data-nosnippet según sea necesario al agregar inicialmente el elemento al DOM de la página. Si personalizada de los elementos utilizados, la envoltura o hacerlos con la etiqueta div,span o section elementos si usted necesita usar data-nosnippet.
usando datos estructurados
las meta etiquetas Robots gobiernan la cantidad de contenido que Google extrae automáticamente de las páginas web para mostrarlo como resultados de búsqueda. Pero muchos editores también usan schema.,org datos estructurados para hacer que la información específica disponible para la presentación de búsqueda. Las limitaciones de las meta etiquetas de los Robots no afectan el uso de esos datos estructurados, con la excepción de article.description y los valoresdescription para los datos estructurados especificados para works.To especifique la longitud máxima de una vista previa basada en estos valores description, use la meta etiquetamax-snippet robots., Por ejemplo, recipe los datos estructurados en una página son elegibles para su inclusión en el carrusel de recetas, incluso si la vista previa de texto fuera limitada. Puede limitar la longitud de una vista previa de texto con max-snippet,pero esa meta etiqueta de robots no se aplica cuando la información se proporciona utilizando datos estructurados o resultados enriquecidos.
gestionar el uso de datos estructurados para sus páginas web, modificando los propios tipos y valores de datos estructurados, añadiendo o eliminando información con el fin de proporcionar únicamente los datos que desea poner a disposición., También tenga en cuenta que los datos estructurados siguen siendo utilizables para resultados de búsqueda cuando se declaran dentro de un elemento data-nosnippet.
implementación práctica de X-Robots-Tag
Puede agregar el X-Robots-Tag a las respuestas HTTP de un sitio a través de los archivos de configuración del software del servidor web de su sitio. Por ejemplo, en servidores web basados en Apache puede utilizar.htaccess y httpd.conf archivos. El beneficio de usar un X-Robots-Tag con HTTPresponses es que puede especificar directivas de rastreo que se aplican globalmente en un sitio., El soporte de expresiones regulares permite un alto nivel de flexibilidad.
por ejemplo, Para agregar un noindex, nofollow X-Robots-Tag a la HTTPresponse para todos .Archivos PDF en todo un sitio, agregue el siguiente fragmento a la raíz del sitio.archivo htaccess o httpd.archivo conf en Apache, o del sitio .conf file on NGINX
Apache:
<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex, nofollow"</Files>
NGINX:
location ~* \.pdf$ { add_header X-Robots-Tag "noindex, nofollow";}
puede usar X-Robots-Tag para archivos no HTML como archivos de imagen donde el uso de etiquetas meta robots en HTML es no es posible., Aquí hay un ejemplo de agregar una directiva noindex X-Robots-Tag para archivos de imágenes (.png, .jpeg, .jpg, .
Apache:
<Files ~ "\.(png|jpe?g|gif)$"> Header set X-Robots-Tag "noindex"</Files>
NGINX:
location ~* \.(png|jpe?g|gif)$ { add_header X-Robots-Tag "noindex";}
Combining crawling with indexing / serving directives
robots meta tags and X-Robots-Tag se descubre cuando se rastrea una URL.Si no se permite que una página se arrastre a través de los robots.txt, entonces cualquier información sobre las directivas de indexación o servicio no será encontrada y por lo tanto será ignorada., Si se deben seguir directivas de indexación o de servicio, las direcciones URL que contienen dichas directivas no pueden ser desautorizadas de crawling.