Blog
Robôs de IA: a lista completa e como liberar ou bloquear
Cada empresa de IA usa robôs diferentes para três coisas: coletar textos para treinar o modelo, montar o índice de busca e ler uma página na hora em que alguém faz uma pergunta. Para aparecer nas respostas, libere os robôs de busca e de leitura na hora; o de treino, na maioria das empresas, pode ser bloqueado sem tirar você das buscas.
O que é um user agent e por que há tantos robôs?
User agent é o nome com que um programa se apresenta quando abre uma página. É por ele que você reconhece, no registro de acessos do site, que quem passou foi o robô do ChatGPT e não uma pessoa. O robots.txt é o arquivo, na raiz do site, que diz a cada robô onde ele pode entrar.
- Treino: coleta textos que podem entrar no treinamento dos próximos modelos.
- Busca: monta o índice que a IA consulta para responder com links.
- Leitura na hora: abre uma página porque alguém, naquele momento, fez uma pergunta ou pediu uma tarefa.
As empresas separam os robôs por função para que o dono do site escolha cada uso. A OpenAI, por exemplo, diz que um site pode liberar o robô de busca para aparecer no ChatGPT e bloquear o de treino, e que uma escolha não depende da outra.
Quais são os robôs de cada empresa?
A tabela abaixo junta o que cada empresa publica na própria documentação, conferida em 17 de outubro de 2026. Os nomes mudam de tempos em tempos, então vale guardar o link oficial de cada uma.
| Robô (user agent) | Empresa | Para que serve | Respeita o robots.txt? | Página oficial |
|---|---|---|---|---|
| GPTBot | OpenAI | Treino dos modelos | Sim | OpenAI |
| OAI-SearchBot | OpenAI | Busca do ChatGPT | Sim | OpenAI |
| ChatGPT-User | OpenAI | Leitura na hora, quando alguém pergunta ao ChatGPT | Pode não seguir, segundo a OpenAI, porque o pedido parte do usuário | OpenAI |
| OAI-AdsBot | OpenAI | Confere a página de destino dos anúncios | Só visita páginas enviadas como anúncio | OpenAI |
| ClaudeBot | Anthropic | Treino dos modelos | Sim | Anthropic |
| Claude-SearchBot | Anthropic | Busca do Claude | Sim | Anthropic |
| Claude-User | Anthropic | Leitura na hora, quando alguém pergunta ao Claude | Sim | Anthropic |
| PerplexityBot | Perplexity | Busca do Perplexity (não treina modelos) | Sim | Perplexity |
| Perplexity-User | Perplexity | Leitura na hora, quando alguém pergunta | Em geral, não | Perplexity |
| Googlebot | Índice da busca, que alimenta também a Visão geral criada por IA e o Modo IA | Sim | ||
| Google-Extended | Não é um robô: é a regra que decide se o conteúdo pode treinar e embasar o Gemini | Existe só no robots.txt | ||
| Google-Agent | Agentes do Google que navegam e agem a pedido do usuário | Em geral, não | ||
| Applebot | Apple | Busca do Spotlight, da Siri e do Safari; os dados também podem treinar modelos da Apple | Sim | Apple |
| Applebot-Extended | Apple | Não visita páginas: é a regra para recusar o treino dos modelos da Apple | Existe só no robots.txt | Apple |
| meta-externalagent | Meta | Coleta para usos como o treino de modelos de IA | Sim | Meta |
| meta-webindexer | Meta | Busca do Meta AI | Sim | Meta |
| meta-externalfetcher | Meta | Leitura na hora, a pedido do usuário | Pode ignorar | Meta |
| Amazonbot | Amazon | Melhora produtos da Amazon e pode treinar modelos | Sim | Amazon |
| Amzn-SearchBot | Amazon | Busca, como a da Alexa (não treina modelos) | Sim | Amazon |
| Amzn-User | Amazon | Leitura na hora para responder a Alexa | Pode não seguir todas as regras | Amazon |
| CCBot | Common Crawl | Arquivo aberto da web, que qualquer pessoa ou empresa pode baixar | Sim | Common Crawl |
| Bingbot | Microsoft | Índice do Bing; o uso nas respostas de IA do Bing se controla com as metatags NOARCHIVE e NOCACHE | Sim | Bing |
Quais robôs liberar para aparecer nas respostas?
Os de busca e os de leitura na hora. São eles que trazem o seu site para dentro da resposta quando um cliente pergunta. A OpenAI diz que um site que bloqueia o OAI-SearchBot não aparece nas respostas com busca do ChatGPT. A Anthropic diz que bloquear o Claude-SearchBot ou o Claude-User pode reduzir a visibilidade do site para quem pergunta ao Claude.
- Para o ChatGPT: OAI-SearchBot e ChatGPT-User.
- Para o Claude: Claude-SearchBot e Claude-User.
- Para o Perplexity: PerplexityBot e Perplexity-User.
- Para o Google, inclusive a Visão geral criada por IA e o Modo IA: Googlebot.
- Para a Siri e o Spotlight: Applebot.
Bloquear o robô de treino tira o site das respostas?
Não, nas empresas que separam as funções. Bloquear o GPTBot, o ClaudeBot, o Google-Extended ou o Applebot-Extended diz que o seu conteúdo não deve treinar os próximos modelos, mas não impede os robôs de busca de ler o site. O Google afirma que o Google-Extended não afeta a inclusão na busca nem é sinal de ranking.
A decisão é sua. Bloquear o treino protege o texto de entrar em modelos futuros; liberar pode fazer o modelo conhecer a sua empresa mesmo quando responde sem buscar. Para um negócio local, o que mais pesa no dia a dia são os robôs de busca, então eles devem ficar liberados em qualquer caso.
Como liberar ou bloquear cada robô no robots.txt?
O robots.txt fica na raiz do site, em suaempresa.com.br/robots.txt. Cada regra começa com uma linha "User-agent:" com o nome do robô, seguida de "Disallow: /" para bloquear o site inteiro ou "Allow: /" para liberar. Um robô que não aparece no arquivo segue a regra geral, escrita com "User-agent: *".
| O que você quer | O que escrever no robots.txt |
|---|---|
| Bloquear o treino da OpenAI e continuar no ChatGPT | "User-agent: GPTBot" e, na linha de baixo, "Disallow: /" |
| Bloquear o treino do Gemini e continuar no Google | "User-agent: Google-Extended" e "Disallow: /" |
| Bloquear o treino da Anthropic e continuar no Claude | "User-agent: ClaudeBot" e "Disallow: /" |
| Bloquear o treino da Apple e continuar na Siri | "User-agent: Applebot-Extended" e "Disallow: /" |
| Ficar fora do Common Crawl | "User-agent: CCBot" e "Disallow: /" |
| Pedir ao ClaudeBot que vá mais devagar | "User-agent: ClaudeBot" e "Crawl-delay: 1" |
O arquivo vale só para o endereço em que está. O Google explica que um robots.txt em www.suaempresa.com.br não vale para blog.suaempresa.com.br, e a Anthropic pede para repetir a regra em cada subdomínio. Depois de mudar o arquivo, a OpenAI e o Perplexity falam em até 24 horas para os sistemas deles perceberem.
Se o seu site é em Wix ou WordPress, o caminho para editar o arquivo muda de plataforma para plataforma (veja como fica em cada uma).
Por que o robots.txt às vezes não basta?
Porque nem todo robô segue o arquivo e porque o bloqueio pode estar em outro lugar. Os robôs de leitura na hora do Perplexity, do Google e da Meta podem ignorar o robots.txt, já que o pedido parte de uma pessoa. E qualquer programa pode se apresentar com o nome de outro: o Google e o Common Crawl avisam que existem robôs falsos usando os nomes deles.
Para conferir se um acesso é verdadeiro, compare o IP com as listas que cada empresa publica. A OpenAI, o Perplexity e a Anthropic publicam listas de IP; a Apple e o Common Crawl permitem conferir pelo DNS reverso.
O outro ponto é o firewall. Desde 1º de julho de 2025, a Cloudflare pergunta a cada domínio novo se quer liberar os robôs de IA e passou a bloquear por padrão os que coletam sem permissão. Se o seu site passa pela Cloudflare ou por outro firewall, confira ali também. A Anthropic avisa que bloquear por IP pode impedir o robô de ler o seu robots.txt, e por isso recomenda o arquivo como forma de bloqueio.
Como saber quais robôs visitam o seu site?
Pelo registro de acessos do servidor, procurando os nomes da tabela. Em hospedagens simples esse registro nem sempre está disponível, e aí a saída é um painel que faça essa conta para você (quando bloquear e quando liberar).
No blog que a Presença hospeda, o painel mostra quais robôs leram cada artigo, entre eles GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-User, Claude-SearchBot, PerplexityBot e Perplexity-User, com o IP conferido nas listas oficiais, sem guardar o IP de quem visita. Para ver como o seu site aparece hoje, faça o diagnóstico grátis.
Perguntas frequentes
O ChatGPT-User conta como visita de cliente?
Não é a pessoa: é o ChatGPT lendo a página para responder a ela. Se a pessoa clicar no link da resposta, aí chega uma visita de verdade.
Preciso listar todos os robôs no robots.txt?
Não. Um robô que não aparece no arquivo segue a regra geral ("User-agent: *"). Liste só os que você quer tratar de forma diferente.
O llms.txt substitui o robots.txt?
Não. O robots.txt diz quem pode entrar; o llms.txt é um resumo opcional do site para IAs, que a busca do Google não usa (o que é llms.txt).
Bloquear o Googlebot tira o site da Visão geral criada por IA?
Tira, e também da busca comum, porque a Visão geral usa o mesmo índice. Para sair só dos recursos de IA, o Google oferece uma configuração própria no Search Console.
Fontes
- OpenAI, "Overview of OpenAI Crawlers"conferido em 17 de outubro de 2026
- Anthropic, "Does Anthropic crawl data from the web, and how can site owners block the crawler?"conferido em 17 de outubro de 2026
- Perplexity, "Perplexity Crawlers"conferido em 17 de outubro de 2026
- Google, "List of Google's common crawlers"conferido em 17 de outubro de 2026
- Google, "List of Google user-triggered fetchers"conferido em 17 de outubro de 2026
- Google, "How Google interprets the robots.txt specification"conferido em 17 de outubro de 2026
- Apple, "About Applebot"conferido em 17 de outubro de 2026
- Meta, "Meta Web Crawlers"conferido em 17 de outubro de 2026
- Amazon, "Amazonbot"conferido em 17 de outubro de 2026
- Common Crawl, "CCBot"conferido em 17 de outubro de 2026
- Bing Webmaster Tools, "Webmaster Guidelines"conferido em 17 de outubro de 2026
- Bing Webmaster Blog, "Announcing new options for webmasters to control usage of their content in Bing Chat" (22 set. 2023)conferido em 17 de outubro de 2026
- Cloudflare, comunicado de 1º de julho de 2025 sobre o bloqueio de robôs de IA por padrãoconferido em 17 de outubro de 2026