Robôs de IA: liberar ou bloquear
Robôs de busca, de treinamento e de ação de usuário têm funções diferentes. Como decidir, registrar e aplicar a política.
Neste texto
A situação: alguém bloqueou tudo, ou nada
Um plugin de segurança bloqueou todos os robôs de IA. Ou a regra da CDN deixou passar o que não devia. A decisão foi técnica e ninguém no negócio a tomou.
Os nomes e as funções mudam: a Anthropic descreve seus robôs em página com data de 07/04/2026, e a OpenAI e o Perplexity não datam suas páginas. Confira a documentação de cada fornecedor antes de aplicar.
A matriz de robôs por função
| Função | Exemplos | O que a documentação diz |
|---|---|---|
| Busca | OAI-SearchBot, PerplexityBot, Claude-SearchBot | bloquear tende a tirar o site das respostas de busca do produto |
| Treinamento | GPTBot, ClaudeBot, Google-Extended | bloquear sinaliza que o conteúdo não deve treinar modelos; o Google-Extended não afeta a inclusão na Busca (página de 14/07/2026) |
| Ação de usuário | ChatGPT-User, Perplexity-User, Claude-User | busca a página a pedido de uma pessoa; OpenAI e Perplexity indicam que o robots.txt pode não valer para esses acessos |
O robots.txt segue o padrão RFC 9309 e não é autorização de acesso. Para controle real, use regras na CDN com user-agent e faixas de IP publicadas pelos fornecedores.
O que fazer sozinho agora
- Liste os robôs que acessam o site nos logs e na CDN.
- Classifique cada um por função na documentação atual do fornecedor.
- Decida por função, com dono e data: liberar, bloquear ou limitar.
- Escreva a política em uma página e registre o motivo.
- Aplique no robots.txt e, se precisar de controle real, na CDN.
- Teste caminhos com a regra mais específica e revise a cada trimestre.
O gerador e testador de robots.txt ajuda nos passos 5 e 6.
Quando vale pedir ajuda
| Situação | Serviço |
|---|---|
| A decisão é de negócio e precisa de critério | consultoria individual |
| A equipe técnica precisa aplicar e testar a política | Treinamento para desenvolvimento e TI |
| A liderança precisa registrar a política e os riscos | Treinamento para marketing e liderança |
Como começa
- 01Você pede o diagnóstico e a proposta por e-mail, em contato@camillodantas.com.br. Camillo responde com escopo, prazo e valor; não há preço público no site.
- 02Com a proposta aceita, Camillo agenda e pede o contexto.
- 03Na chamada e no resumo escrito você recebe os próximos passos. Qualquer serviço maior é negociado depois da consultoria.
Pedir diagnóstico e proposta por e-mail
Perguntas frequentes
Bloquear o GPTBot tira o site do ChatGPT?
Não necessariamente. Segundo a OpenAI, o OAI-SearchBot controla a inclusão na busca do ChatGPT; o GPTBot é de treinamento.
Bloquear o Google-Extended prejudica o ranking?
Segundo o Google, o Google-Extended não afeta a inclusão na Busca nem é sinal de ranking.
O robots.txt basta para impedir acesso?
Não. É um protocolo de cortesia. Para impedir, use controles de servidor ou de CDN.
Vale criar o llms.txt?
O Google diz que a Busca não usa llms.txt. Outros produtos podem tratar o arquivo de modos diferentes; não é substituto da política de robôs.
Quem deve decidir a política?
Quem responde pelo negócio, com apoio técnico. A decisão fica registrada com dono, data e revisão trimestral.
O que acontece depois do pedido por e-mail?
Camillo responde por e-mail com escopo, prazo e valor e, com a proposta aceita, agenda a conversa e pede o contexto. Não há formulário nem agenda antes da proposta.
Vocês garantem posição, citação, tráfego ou receita?
Não. Esses resultados dependem de fatores fora do controle de qualquer consultor. Contratam-se método, diagnóstico, plano e acompanhamento.
Fontes
- Overview of OpenAI crawlers, OpenAI (2026-10-14)
- Does Anthropic crawl data from the web, Anthropic (2026-04-07)
- Perplexity crawlers, Perplexity (2026-10-14)
- Google common crawlers, Google Search Central (2026-07-14)
- RFC 9309: Robots Exclusion Protocol, IETF (2022-09-01)
Decida a política antes de mexer no robots.txt
Chamada de 1 hora com Camillo Dantas, resumo escrito e, se fizer sentido, o escopo do serviço seguinte.
