O que é Robots.txt, saiba como criar um.

O robots.txt é um arquivo .txt que deve ser salvo na pasta raiz do seu site, e indica para os robôs de busca do Google, Bing e muitos outros quais as páginas ou diretórios de seu site você não deseja que sejam acessadas por estes mecanismos de pesquisa.

Pode ser criado com seu bloco de notas ou outro programa se preferir, porem com a extenção .txt.
Ele também pode impedir que os arquivos de imagem de sua página sejam exibidos nos resultados de buscas, ou arquivos de scripts e estilos CSS.

Deve-se tomar muito cuidado ao criar seu arquivo, pois em vez de ajudar pode te atrapalhar, abaixo ensinaremos como cria-lo.

Primeira linha
User-agent (obrigatório)
É onde indicamos para qual robô a regra a seguir será usada.
Você pode definir ordens específicas para cada robô veja Lista Completa aqui.
EX:
User-agent: *

Disallow:
O comando Disallow é o que descreve quais as páginas e diretórios ou sites não devem ser incluídas nos resultados de pesquisas.
EX:
Disallow: /login.php

O comando Allow meio que desnecessário pois por padrão os robôs já rastreiam todas as páginas do site, mais é sempre bom mante-lo.
EX:
Allow: /

Sitemap:
Indica de onde fica o sitemap de seu site para auxiliar o Google no rastreamento e indexação.
EX: Sitemap: https://www.site.com/sitemap.xml

Comentários:
Para sites muito grande é bom vc comentar o código afim de facilitar sua compreensão.
EX:
# Aqui seu comentário Blá Blá Blá

Quase tudo pronto, lembrando que é muito importante que seu arquivo precisa estar instalado na raiz do site, ficando assim: (www.site.com/robots.txt).

Feito tudo isto agora só falta testar e enviar ao Goolge.
é muito importante testar se está tudo correto antes de enviar.

Para testa-lo acesse Search Console neste link:
webmasters tools

Agora tudo certinho é só enviar, acesse seu FTP enviando o arquivo para raiz do site.depois volte no webmasters tools em enviar.

Caso tenha dúvidas escreva no campo comentários.
boa sorte até aproxima.