Generador de robots.txt
Crea tu archivo robots.txt con las reglas correctas para cada bot. Bloquea carpetas privadas, permite rastreadores específicos y enlaza tu sitemap.
¿Qué es robots.txt?
El archivo robots.txt se coloca en la raíz de tu dominio (ej: https://tudominio.com/robots.txt) e indica a los rastreadores web qué páginas pueden o no pueden visitar.
Directivas principales
- User-agent: especifica el bot al que aplica la regla (* = todos).
- Disallow: bloquea una ruta.
- Allow: permite una ruta (dentro de un Disallow más amplio).
- Sitemap: informa de la ubicación del sitemap XML.
- Crawl-delay: pausa entre peticiones (no soportado por Googlebot).
Importante
robots.txt es una recomendación, no una orden. Bots maliciosos pueden ignorarlo. Para contenido sensible, usa autenticación o noindex, no solo robots.txt.
Preguntas frecuentes
¿robots.txt vs noindex?
Disallow en robots.txt evita que Google rastree la página (pero puede indexarla si hay links externos). noindex en la meta tag evita que la indexe aunque la rastree. Para pages que no quieres indexar, usa noindex. Para ahorrar presupuesto de crawl en páginas sin valor, usa robots.txt.
Herramientas relacionadas
Generador de meta tags para SEO
Genera todas las meta tags necesarias para SEO: title, description, Open Graph (Facebook) y Twitter …
Usar herramienta →Generador de slugs para URLs
Convierte cualquier texto o título a un slug optimizado para URLs: sin acentos, minúsculas, sin espa…
Usar herramienta →