Guia · capítulo 3 de 7
Um site que o Google e a IA conseguem ler
O texto importante precisa vir pronto no HTML, sem depender de JavaScript, e os robôs do Google e das IAs precisam de permissão no robots.txt para ler as páginas. Depois vêm o sitemap, os dados estruturados que descrevem a empresa e páginas rápidas. O llms.txt é opcional: o Google diz que não precisa dele.
Por que o texto precisa vir pronto no HTML?
Porque nem todo robô roda JavaScript, e o que ele não roda, ele não lê. Se o texto da página só aparece depois que o navegador executa o código, o robô pode receber uma página vazia.
O Google executa JavaScript, mas numa segunda etapa, quando tem recursos para isso, e mesmo assim recomenda entregar a página pronta do servidor, porque fica mais rápida para pessoas e robôs. Os robôs das IAs vão além: um levantamento da Vercel, de dezembro de 2024, concluiu que nenhum dos principais robôs de IA executava JavaScript, incluindo o GPTBot e o OAI-SearchBot (OpenAI), o ClaudeBot (Anthropic) e o PerplexityBot. Eles baixam os arquivos de código, mas não os rodam. A exceção era o Gemini, que usa a estrutura do Google.
Para conferir o seu site, abra uma página, use a opção "Exibir código-fonte" do navegador (Ctrl+U no computador) e procure uma frase do texto principal. Se a frase está lá, o robô também lê. Se não está, o texto depende de JavaScript. O WordPress monta as páginas no servidor e costuma passar nesse teste; o risco maior está em sites feitos só com JavaScript e em textos colocados dentro de imagens. A página sobre Wix e WordPress na IA fala dos construtores mais usados.
Quais robôs liberar no robots.txt?
Libere os robôs de busca das IAs e do Google; os de treinamento são uma escolha sua. O robots.txt é o arquivo, na raiz do site, que diz a cada robô o que ele pode ler. Bloquear o robô de busca de uma IA tira você das respostas dela.
| Robô | Empresa | Para que serve | Se bloquear |
|---|---|---|---|
| Googlebot | Rastreia para a Busca, os resumos de IA e o Modo IA | Sai do Google, inclusive das respostas de IA | |
| Google-Extended | Não é um robô: é a regra que decide se o conteúdo pode treinar e fundamentar o Gemini | Não muda nada na Busca do Google | |
| OAI-SearchBot | OpenAI | Busca do ChatGPT | Não aparece nas respostas de busca do ChatGPT |
| ChatGPT-User | OpenAI | Visita a página quando um usuário pede | Pode não valer: a OpenAI diz que o robots.txt pode não se aplicar a essas visitas |
| GPTBot | OpenAI | Coleta para treinar modelos | Conteúdo fica fora do treinamento |
| Claude-SearchBot | Anthropic | Busca do Claude | Menos visibilidade nas respostas do Claude |
| Claude-User | Anthropic | Visita a página quando um usuário pede | O Claude deixa de ler a página nessas perguntas |
| ClaudeBot | Anthropic | Coleta para treinar modelos | Conteúdo fica fora do treinamento |
| PerplexityBot | Perplexity | Busca do Perplexity | Não aparece nos resultados do Perplexity |
| Perplexity-User | Perplexity | Visita a página quando um usuário pede | Em geral ignora o robots.txt, segundo a Perplexity |
A OpenAI, a Anthropic e a Perplexity separam o robô que busca do robô que coleta texto para treinar modelos, e as regras valem de forma independente. Dá para bloquear o treinamento e continuar aparecendo nas respostas. A OpenAI diz que sites que bloqueiam o OAI-SearchBot não aparecem nas respostas de busca do ChatGPT; ela e a Perplexity informam que mudanças no robots.txt levam cerca de 24 horas para valer.
O firewall, a CDN (a rede que entrega o site mais rápido) e plugins de segurança podem barrar robôs mesmo com o robots.txt liberado. Vale conferir as regras de bloqueio de robôs do seu provedor. A Anthropic avisa que bloquear por endereço IP impede o robô até de ler o robots.txt.
Duas confusões comuns: o robots.txt não serve para esconder uma página do Google (para isso existe a marcação noindex), e o Search Console agora tem um controle de IA generativa, em Configurações, que vem ligado por padrão. Se alguém desligou esse controle, o site some dos resumos de IA e do Modo IA. A página sobre bloquear ou liberar os robôs de IA ajuda a decidir cada caso.
Para que serve o sitemap?
O sitemap é a lista de todas as páginas que você quer que os buscadores encontrem, com a data da última mudança de cada uma. Ele ajuda o robô a achar páginas novas sem depender só dos links.
- Confira se o sitemap existe abrindo suaempresa.com.br/sitemap.xml (ou /wp-sitemap.xml no WordPress).
- Envie o endereço no Search Console, em Sitemaps, e no Bing Webmaster Tools.
- Coloque uma linha "Sitemap:" com o endereço completo no robots.txt, para os outros robôs acharem.
- Se puder, use o IndexNow, que avisa na hora o Bing, o Yandex e outros buscadores participantes quando uma página muda.
O Google aceita até 50 mil endereços ou 50 MB por arquivo de sitemap. A data de atualização (lastmod) deve mudar só quando a página muda de verdade; o Google ignora os campos de prioridade e de frequência. O WordPress gera um sitemap sozinho desde a versão 5.5, no endereço /wp-sitemap.xml.
Quais dados estruturados usar?
Dados estruturados são um bloco de código, invisível para o visitante, que descreve a página num vocabulário padrão (o schema.org): quem é a empresa, onde fica, quem escreveu o artigo. O Google recomenda o formato JSON-LD e diz que eles não são obrigatórios para os recursos de IA, nem existe uma marcação especial para isso. Ainda assim, ajudam a confirmar os dados da empresa, e o que estiver neles precisa estar visível na página.
| Tipo | Onde usar | O que informar |
|---|---|---|
| LocalBusiness (ou o subtipo do ramo, como Dentist, Restaurant ou LegalService) | Página inicial ou de contato de negócio com endereço | Nome e endereço (obrigatórios), telefone, horário, coordenadas, site e faixa de preço |
| Organization | Página inicial de empresa sem atendimento local, como software | Nome, logotipo, site e perfis oficiais |
| Article | Cada artigo do blog | Título, autor, data de publicação e de atualização |
| FAQPage | Páginas com perguntas e respostas visíveis | As perguntas e respostas; o Google parou de mostrar o destaque de FAQ em 7 de maio de 2026 |
Use o Teste de pesquisa aprimorada do Google e, depois de publicar, a Inspeção de URL do Search Console, que mostra a página como o Google a vê. Um erro comum é o endereço ou o telefone no código ser diferente do que aparece na página, ou do perfil no Google.
Sobre o FAQPage: desde 7 de maio de 2026, o Google deixou de exibir as perguntas expansíveis nos resultados e marcou a documentação como descontinuada. A marcação pode continuar na página sem prejuízo; o que segue valendo é ter as perguntas e respostas escritas e visíveis para quem lê. O artigo sobre dados estruturados para negócio local traz exemplos prontos.
A velocidade do site importa?
Importa para quem visita e entra na avaliação de experiência que o Google faz. Ao falar dos recursos de IA, o Google pede páginas sem poluição, fáceis de navegar e que carreguem bem em qualquer aparelho.
- LCP (carregamento do maior elemento): até 2,5 segundos.
- INP (resposta a cliques e toques): até 200 milissegundos.
- CLS (estabilidade, sem a página pular enquanto carrega): até 0,1.
- Para medir, use o PageSpeed Insights ou o relatório de Core Web Vitals do Search Console. As causas mais comuns de lentidão são imagens pesadas, muitos plugins e scripts de terceiros.
A medida mais usada são as Core Web Vitals, três métricas do Google. Uma página vai bem quando 75% das visitas atingem as três metas:
O que é llms.txt e vale a pena ter?
É um arquivo de texto na raiz do site, proposto por Jeremy Howard em setembro de 2024, que resume o site para as IAs e lista os links mais importantes. Ele é escrito em markdown: um título com o nome, um resumo curto e listas de links com uma linha de explicação.
O Google afirmou em 2026 que o llms.txt não é necessário para a Busca e não muda a classificação, nem para melhor nem para pior. Por outro lado, o Lighthouse, ferramenta de auditoria do Chrome, passou a tratá-lo como uma convenção emergente para agentes de IA. O que ainda não se sabe: a OpenAI, a Anthropic e a Perplexity não informam se os seus buscadores leem o arquivo.
Conclusão prática: é barato de fazer e não atrapalha, mas não deve vir antes de nenhum dos itens acima. A página o que é llms.txt mostra um modelo.
Checklist: o seu site está pronto?
Confira item por item, nesta ordem:
- O texto principal aparece no código-fonte da página.
- O robots.txt libera o Googlebot, o OAI-SearchBot, o Claude-SearchBot e o PerplexityBot.
- O firewall ou a CDN não bloqueia esses robôs.
- O controle de IA generativa do Search Console está como "incluir".
- O site está verificado no Search Console e no Bing Webmaster Tools.
- O sitemap existe, está enviado e tem as datas certas.
- Nome, endereço e telefone aparecem em texto, não só em imagem, e são iguais ao perfil no Google.
- Há dados estruturados da empresa e dos artigos, sem erros no teste do Google.
- As páginas principais passam nas Core Web Vitals no celular.
- Cada página tem título e descrição próprios, que dizem o que ela responde.
No blog que a Presença hospeda no domínio da sua empresa, as páginas saem prontas do servidor, com sitemap, dados estruturados, IndexNow e perguntas frequentes, e o painel mostra quais robôs das IAs leram cada artigo. Dá para ver os planos e o que cada um inclui.
Perguntas frequentes
Bloquear o GPTBot tira minha empresa do ChatGPT?
Não. O GPTBot coleta texto para treinar modelos; quem decide se você aparece na busca do ChatGPT é o OAI-SearchBot. A OpenAI trata as duas regras de forma independente.
Meu site é de 2015. Preciso refazer?
Não necessariamente. Se o texto aparece no código-fonte, os robôs estão liberados e as páginas carregam bem no celular, o site atende ao básico, mesmo que o visual seja antigo.
Dados estruturados fazem a IA me citar?
Sozinhos, não. O Google diz que não são obrigatórios para os recursos de IA; eles ajudam a confirmar quem você é e onde fica, mas quem faz você ser citado é o conteúdo.
Fontes
- Google Search Central, "Understand the JavaScript SEO basics"conferido em 17 de outubro de 2026
- Vercel, "The rise of the AI crawler" (dez. 2024)conferido em 17 de outubro de 2026
- Google Search Central, introdução ao robots.txtconferido em 17 de outubro de 2026
- OpenAI, "Overview of OpenAI Crawlers"conferido em 17 de outubro de 2026
- Anthropic, "Does Anthropic crawl data from the web, and how can site owners block the crawler?"conferido em 17 de outubro de 2026
- Perplexity, "Perplexity Crawlers"conferido em 17 de outubro de 2026
- Google Search Central, robôs comuns do Google (Google-Extended)conferido em 17 de outubro de 2026
- Ajuda do Search Console, controle de IA generativa da Pesquisaconferido em 17 de outubro de 2026
- Google Search Central, "Build and submit a sitemap"conferido em 17 de outubro de 2026
- WordPress Core, "New XML Sitemaps Functionality in WordPress 5.5" (jul. 2020)conferido em 17 de outubro de 2026
- IndexNow, site oficialconferido em 17 de outubro de 2026
- Google Search Central, introdução aos dados estruturadosconferido em 17 de outubro de 2026
- Google Search Central, dados estruturados LocalBusinessconferido em 17 de outubro de 2026
- Google Search Central, "AI features and your website"conferido em 17 de outubro de 2026
- Google Search Central, registro de atualizações da documentação (FAQ e llms.txt, 2026)conferido em 17 de outubro de 2026
- Google Search Central Blog, "Top ways to ensure your content performs well in Google's AI experiences on Search" (mai. 2025)conferido em 17 de outubro de 2026
- web.dev, "Web Vitals"conferido em 17 de outubro de 2026
- llmstxt.org, proposta do arquivo /llms.txt (Jeremy Howard, set. 2024)conferido em 17 de outubro de 2026
- Chrome for Developers, auditoria de llms.txt do Lighthouseconferido em 17 de outubro de 2026