Generador de robots.txt

Genera archivos robots.txt para tu sitio web. Controla qué bots rastrean qué, configura el crawl delay y enlaza tu sitemap. Gratis y privado.

⚙️ Settings

📄 Output

📝 What goes in robots.txt?

  • User-agent: Which crawler the rule applies to (* = all)
  • Allow/Disallow: Paths the crawler can or cannot access
  • Crawl-delay: Seconds to wait between requests
  • Sitemap: URL of your XML sitemap

All processing in-browser · No data sent to any server

About Robots.txt Generator

Genera archivos robots.txt para tu sitio web. Controla qué páginas pueden rastrear los motores de búsqueda. Configura el crawl delay, URLs de sitemap y reglas por bot. Todo en tu navegador: no se envía ningún dato a ningún sitio.

Constructor visual

Añade reglas de permitir/bloquear sin escribir sintaxis. Ve cómo se construye el robots.txt mientras añades directivas.

Reglas por bot

Configura reglas diferentes para Googlebot, Bingbot y rastreadores genéricos. Bloquea selectivamente los scrapers de IA.

Plantillas incluidas

Empieza con plantillas de WordPress, comercio electrónico o personalizadas. Ajusta según las necesidades de tu sitio.

Validación integrada

Comprueba la sintaxis antes de descargar. Sin archivos robots.txt rotos: salida validada cada vez.

📋 Common Use Cases

Bloquear rastreadores

Impide que los motores de búsqueda indexen directorios sensibles como admin, login o áreas privadas.

Permitir acceso

Permite explícitamente que los rastreadores accedan a las páginas y recursos que quieres indexar.

Gestión del rastreo

Configura el crawl delay para reducir la carga del servidor causada por bots agresivos de motores de búsqueda.

Descubrimiento de sitemap

Añade la URL de tu sitemap XML para que los motores de búsqueda encuentren y rastreen tus páginas.

🪜 How to Use This Tool

  1. Configura el user agent
    Elige el rastreador al que se aplican las reglas, o usa * para todos los bots.
  2. Añade reglas de permitir/bloquear
    Especifica qué rutas pueden o no acceder los rastreadores.
  3. Configura el crawl delay y el sitemap
    Establece un crawl delay y añade la URL de tu sitemap si es necesario.
  4. Genera y descarga
    Copia o descarga tu archivo robots.txt y súbelo a la raíz de tu sitio.

📚 Related Guides

Frequently Asked Questions

¿Estas herramientas SEO son gratuitas?▼
Sí. Todas las herramientas SEO son completamente gratuitas. No necesitas registrarte.
¿Las metaetiquetas funcionan con Google?▼
Sí. El generador de metaetiquetas crea etiquetas estándar de Open Graph, Twitter Card y HTML que son reconocidas por Google, Facebook, Twitter y otras plataformas.
¿El marcado de schema es válido?▼
Sí. El generador de schema produce JSON-LD válido siguiendo las especificaciones de Schema.org para Artículo, FAQ, Producto, NegocioLocal y otros tipos.