Validador de robots.txt

Busque a partir da URL ou cole o conteúdo do arquivo. Validamos diretivas comuns (User-agent, Allow, Disallow, Sitemap, Host, Crawl-delay) e apontamos avisos.

O que verificamos

Presença de User-agent.
Diretivas sem caminho (Allow/Disallow vazios).
Host repetido (mais de 1 Host).
Crawl-delay não numérico.
Diretivas desconhecidas.

Dicas rápidas

Mantenha o robots.txt acessível em /robots.txt.
Inclua o sitemap com URL absoluta (https://).
Evite bloquear recursos críticos (JS/CSS) se quiser indexação completa.

Limitações

Não substitui testes de crawl reais (ex: Search Console ou logs de servidor).
Respeita o conteúdo retornado pelo servidor; se houver redirecionamentos, valide a URL final.

Revisao editorial

Conteudo revisado por Luciano Lazzerini, editor e responsavel tecnico desta pagina.

Veja tambem

Validador de Sitemap Criador de Sitemap Gerador de Open Graph/Twitter Gerador de Meta Tags Pesquisa WHOIS