Abstract
este documento detalha como a configuração do nível de página e texto pode ser usada para ajustar a forma como o Googlepresenta o seu conteúdo nos resultados da pesquisa. Poderá indicar a configuração do nível da Página, incluindo uma página HTML meta-tagon ou um cabeçalho HTTP. Poderá indicar a configuração do nível de texto com o atributo data-nosnippet nos elementos HTML de uma página.,
usando a meta tag dos robôs
a meta tag dos robôs permite-lhe utilizar uma abordagem granular e específica da página para controlar a forma como uma página individual deve ser indexada e servida aos Utilizadores nos resultados da Pesquisa do Google. Coloque a meta robots tag <head> seção de uma determinada página, assim:
<!DOCTYPE html><html><head><meta name="robots" content="noindex" />(…)</head><body>(…)</body></html>
A meta tag robots no exemplo acima instrui os motores de busca não para mostrar a página em searchresults. O valor do atributo name (robots) especifica que a directiva se aplica a todas as crawlers., Para abordar um rastreador específico, substitua o atributo robotsvalor do name pelo nome do rastreador a que se dirige.Crawlers específicos também são conhecidos como agentes de usuário (um crawler usa seu agente de usuário para solicitar uma página.) O web crawler padrão do Google tem o nome de agente de usuário Googlebot. Para evitar que onlyGooglebot indexe a sua página, actualize a marca do seguinte modo:
<meta name="googlebot" content="noindex" />
esta marca agora instrui o Google especificamente a não mostrar esta página nos seus resultados de pesquisa., Ambos os atributosname e content os atributos não são sensíveis a maiúsculas.
os motores de busca podem ter rastejantes diferentes para diferentes propriedades ou propósitos. Veja a lista completa dos rastreadores do Google., Por exemplo, para exibir uma página da web do Google de resultados de pesquisa, mas não no Google Notícias, utilize a seguinte meta tag:
<meta name="googlebot-news" content="noindex" />
Para especificar vários rastreadores individualmente, use vários robôs meta tags:
<meta name="googlebot" content="noindex"><meta name="googlebot-news" content="nosnippet">
Usando o X-Robots-Tag HTTP cabeçalho
X-Robots-Tag pode ser usado como um elemento de cabeçalho HTTP de resposta para uma determinada URL. Qualquer diretriz que possa ser usada em uma meta tag de robôs também pode ser especificada como um X-Robots-Tag., Aqui está um exemplo de uma resposta HTTP com um X-Robots-Tag instruindo rastreadores não indexar uma página:
HTTP/1.1 200 OKDate: Tue, 25 May 2010 21:42:43 GMT(…)X-Robots-Tag: noindex(…)
Diversas X-Robots-Tag cabeçalhos podem ser combinadas dentro de resposta HTTP, ou você pode especificar uma lista separada por vírgulas das directivas. Aqui está um exemplo de um cabeçalho HTTP de resposta que tem uma noarchive X-Robots-Tag combinado com um unavailable_after X-Robots-Tag.
o X-Robots-Tag pode, opcionalmente, especificar um agente de utilizador antes das directivas., Por exemplo, o seguinte conjunto de X-Robots-Tag cabeçalhos de HTTP pode ser usado para condicionalmente permitir a exibição de uma página nos resultados de pesquisa para diferentes motores de busca:
HTTP/1.1 200 OKDate: Tue, 25 May 2010 21:42:43 GMT(…)X-Robots-Tag: googlebot: nofollowX-Robots-Tag: otherbot: noindex, nofollow(…)
Diretivas especificado sem um agente de usuário são válidos para todos os crawlers. O cabeçalho HTTP, o nome do agente de usuário e os valores indicados não são sensíveis à capitalização.
indexação válida & servindo as diretivas
as seguintes diretivas podem ser usadas para controlar a indexação e servir um trecho com os robôs meta tag e X-Robots-Tag., Dentro dos resultados da pesquisa, um trecho é um breve trecho de texto usado para demonstrar a relevância de um documento para a consulta de um usuário. A tabela seguinte mostra todas as diretivas que o Google honra e seu significado. Cada valor representa uma directiva específica. Várias directivas podem ser combinadas numa lista separada por vírgulas. Estas directivas são insensíveis a casos.
| Diretivas | |
|---|---|
todos |
não Há restrições para a indexação, ou de servir. A presente directiva é o valor por defeito e não tem efeito se estiver explicitamente enumerado., |
noindex |
não mostrar esta página nos resultados da pesquisa. |
nofollow |
não siga as ligações nesta página. |
none |
Equivalente a noindex, nofollow. |
noarchive |
não mostrar uma ligação em cache nos resultados da pesquisa. |
nosnippet |
não mostra um excerto de texto ou uma antevisão de vídeo nos resultados da pesquisa desta página., Uma miniatura de imagem estática (se disponível) ainda pode ser visível, quando resulta em uma melhor experiência do Usuário. Isto aplica-se a todas as formas de resultados de pesquisa (no Google: pesquisa na web, Google Images, Discover). |
Max-snippet: |
|
max-image-preview: |
|
max-video-preview: |
Use um máximo de Outros valores suportados:
isto aplica-se a todas as formas de resultados de pesquisa (no Google: pesquisa na web, imagens do Google, Vídeos do Google, Discover, Assistente). A presente directiva é ignorada se não for especificado nenhum Exemplo: <meta name="robots" content="max-video-preview:-1"> |
notranslate |
não oferecem a tradução desta página nos resultados de pesquisa. |
noimageindex |
não indexem imagens nesta página. |
unavailable_after: |
não mostrar esta página nos resultados de pesquisa após a data/hora. A data / hora deve ser especificada num formato amplamente adotado, incluindo, mas não limitado a RFC 822, RFC 850 e ISO 8601. A diretiva é ignorada se não for especificado nenhum ID válido ., Por padrão, não há data de expiração para o conteúdo. Exemplo: <meta name="robots" content="unavailable_after: 2020-09-21"> |
Tratamento combinado de indexação e servindo directivas
Você pode criar um multi-instrução directiva combinando meta tag robots directivas com vírgulas., Aqui está um exemplo de uma meta robots tag que indica que os rastreadores da web não indexar a página e para não rastrear qualquer um dos links na página:
<meta name="robots" content="noindex, nofollow">
Aqui está um exemplo que limita o snippet de texto a 20 caracteres, e permite uma grande imagem de pré-visualização:
<meta name="robots" content="max-snippet:20, max-image-preview:large">
Para situações onde vários rastreadores são especificados, com diferentes directivas, o motor de busca irá utilizar a soma das diretivas negativas., Por exemplo:
<meta name="robots" content="nofollow"><meta name="googlebot" content="noindex">
a página que contém estas meta tags será interpretada como tendo uma noindex, nofollow directiva quando rastejada por Googlebot.
usando o atributo data-nosnippet HTML
você pode designar partes textuais de uma página HTML para não ser usado como um excerto. Isso pode ser feito em aHTML-elemento de nível com o data-nosnippet HTML atributo spandiv e section elementos., The data-nosnippet is considered aboolean attribute, it is valid with or without a value. Para garantir a legibilidade da máquina, a seção HTML deve ser HTML válida e todas as tags apropriadas devem ser fechadas de forma consistente.
exemplos:
O Google tipicamente rende páginas para indexá-las, no entanto a renderização não é garantida.Devido a isso, a extração de data-nosnippet pode acontecer tanto antes quanto depois. Para evitar a incerteza da renderização, não adicione ou remova o atributo data-nosnippetdos nós existentes através de JavaScript., Ao adicionar elementos DOM através de JavaScript, include o atributo
quando inicialmente adiciona o elemento ao DOM da página. Se os elementos personalizados que são utilizados, de plástico ou processá-los comdivspan, ousectionelementos se você precisa usardata-nosnippet.
usando dados estruturados
robôs meta tags governam a quantidade de conteúdo que o Google extrai automaticamente de páginas web para visualização como resultados de pesquisa. Mas muitos editores também usam esquemas.,org dados estruturados para disponibilizar informação específica para a apresentação da pesquisa. Meta Robots tag limitações não afeta o uso ofthat dados estruturados, com exceção de article.description e odescription valores para dados estruturados especificado para outros trabalhos criativos.Para especificar o comprimento máximo de uma pré-visualização com base nestes description valores,use o max-snippet meta tag robots., Por exemplo, recipe dados estruturados numa página são elegíveis para inclusão no carrossel da receita, mesmo que a antevisão do texto seja limitada. Você pode limitar o comprimento de uma antevisão de texto com max-snippet,mas que os robôs meta tag não se aplica quando a informação é fornecida usando dados estruturados ou resultados ricos.
para gerir a utilização de dados estruturados para as suas páginas web, altere os próprios tipos e valores de dados estruturados, adicionando ou removendo informações a fim de fornecer apenas os dados que pretende disponibilizar., Note também que os dados estruturados permanecem utilizáveis para pesquisas quando declarados dentro de um elemento data-nosnippet.
implementação prática de X-Robots-Tag
pode adicionar o X-Robots-Tag às respostas HTTP de um site através dos ficheiros de configuração do software do servidor web do seu site. Por exemplo, em servidores Web baseados no Apache você pode usar.htaccess e httpd.ficheiros conf. O benefício de usar um X-Robots-Tag com respostas HTTP é que você pode especificar diretivas de rastreamento que são aplicadas globalmente em todo um site., O apoio a Expressões Regulares permite um elevado nível de flexibilidade.
Por exemplo, adicionar um id
X-Robots-Tagà resposta HTTP para todos .Ficheiros PDF em todo um site, adicione o seguinte excerto à raiz do site.ficheiro htaccess ou httpd.ficheiro conf no Apache, ou no site .conf arquivo no NGINX
o Apache:
<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex, nofollow"</Files>
NGINX:
location ~* \.pdf$ { add_header X-Robots-Tag "noindex, nofollow";}
Você pode usar o X-Robots-Tag para arquivos não HTML, como arquivos de imagem, onde o uso de ofrobots meta tags em HTML não é possível., Aqui está um exemplo de adicionar um id
X-Robots-Tagdiretiva para arquivos de imagens (.Forum, .nivel, .jpg .gif) através de uma entiresite:
o Apache:
<Files ~ "\.(png|jpe?g|gif)$"> Header set X-Robots-Tag "noindex"</Files>
NGINX:
location ~* \.(png|jpe?g|gif)$ { add_header X-Robots-Tag "noindex";}
a Combinação de rastreamento com indexação / dose directivas
a meta tag Robots e X-Robots-Tag cabeçalhos HTTP são descobertos quando uma URL é rastreado.Se uma página é proibida de rastejar através dos robôs.txt file, então qualquer informação sobre indexing ou directivas de serviço não será encontrado e, portanto, será ignorado., Se for necessário seguir directivas de indexação ou de conservação, os URLs que contêm essas directivas não podem ser excluídos do seu âmbito de Aplicação.