Generador de robots.txt - Reglas Allow, Disallow y Sitemap
Generador de robots.txt
Las tres primeras sustituyen tus grupos. El botón de IA añade un grupo con nombres de rastreadores de IA publicados habitualmente y conserva el resto; la lista cambia con el tiempo, revísala de vez en cuando.
Importar un robots.txt existente
* significa todos los rastreadores. Separa varios nombres con comas para darles las mismas reglas.
Las rutas empiezan por / y distinguen mayúsculas. * equivale a cualquier secuencia de caracteres y $ marca el final de la URL: /*.pdf$ bloquea todos los PDF. Google ignora Crawl-delay (segundos entre peticiones); algunos otros buscadores sí lo respetan.
No se encontraron problemas.
Súbelo como robots.txt a la raíz del host, por ejemplo https://example.com/robots.txt. Cada subdominio necesita su propio archivo.
Probar una URL
Comprueba el robots.txt de arriba tal como lo lee Google. Un grupo que nombra exactamente al rastreador gana a User-agent: *, los grupos con el mismo nombre se combinan y un rastreador sin grupo propio recurre a *, no a un nombre parecido (Googlebot-Image no usa un grupo Googlebot). Dentro del grupo decide la regla coincidente más larga y, en caso de empate, gana Allow. De una URL completa solo cuentan la ruta y la consulta.
robots.txt es una petición pública, no un candado. Cualquiera puede leerlo y los bots maliciosos lo ignoran, así que nunca pongas ahí rutas secretas. Tampoco quita páginas de los resultados: una URL bloqueada puede indexarse igualmente a partir de enlaces. Para sacar una página del buscador usa una etiqueta noindex y deja la página rastreable; para protegerla, usa contraseña.
Cómo funciona robots.txt
Antes de rastrear un sitio, los bots que respetan las normas descargan /robots.txt y buscan el grupo con su nombre o, si no existe, User-agent: *. Dentro del grupo, Disallow indica las rutas que deben saltarse y Allow abre excepciones dentro de ellas. El archivo controla el rastreo, no la indexación, y solo lo cumplen los bots que deciden hacerlo.
Cómo se usa
- 1 Elige una plantilla o edita el ejemplo: un grupo por rastreador (o * para todos), con líneas Disallow y Allow.
- 2 Añade la dirección del sitemap y revisa las comprobaciones: una ruta sin barra inicial o un sitemap sin https:// se marcan al momento.
- 3 Copia el texto o descarga robots.txt, súbelo a la raíz del sitio y abre tusitio/robots.txt para comprobar que carga.
Qué regla gana
Los grandes buscadores no leen las reglas de arriba abajo. Para cada URL toman la coincidencia más específica, es decir, la ruta más larga; si un Allow y un Disallow miden lo mismo, gana Allow. Así, Disallow: /admin/ con Allow: /admin/help/ deja rastreables las páginas de ayuda en cualquier orden. Además, un rastreador sigue un solo grupo: si hay un grupo Googlebot, Googlebot ignora por completo el grupo *.
Bloquear no es lo mismo que noindex
Una URL bloqueada en robots.txt puede seguir apareciendo en los resultados, normalmente como un enlace sin descripción, porque otras páginas enlazan a ella. Peor aún: si pones noindex en una página y además la bloqueas, el rastreador nunca la descarga y nunca ve la etiqueta. Para quitar una página del buscador, permite el rastreo y usa noindex; bloquéala solo cuando ya haya desaparecido.
Errores que bloquean más de lo que querías
Las reglas son prefijos: Disallow: /blog también bloquea /blog-tips/ y /blogger.html; escribe /blog/ si te refieres a la carpeta. Disallow: / a secas bloquea todo el sitio, un clásico olvidado de un servidor de pruebas. Bloquear las carpetas de CSS y JavaScript impide que los buscadores representen bien tus páginas. Y las rutas distinguen mayúsculas: /Admin/ no cubre /admin/. Para ver cómo se trata una URL concreta, escríbela en el cuadro de prueba bajo el resultado: indica el grupo y la regla que deciden.
Rastreadores de IA y tokens de control
Varias empresas de IA publican los nombres de user-agent con los que recogen datos de entrenamiento e indican robots.txt como la forma de excluirse. Algunos nombres no son rastreadores aparte, sino tokens de control: Google-Extended y Applebot-Extended no descargan páginas; solo indican si el contenido que ya recoge el rastreador de búsqueda puede usarse para entrenar sus modelos de IA (en Google, también como fuente de las respuestas de Gemini). Bloquearlos no afecta a tu posicionamiento, pero tampoco saca tus páginas de las funciones de IA dentro del buscador: AI Overviews y AI Mode de Google funcionan con Googlebot y se controlan con nosnippet o noindex, no con Google-Extended. Los nombres cambian y aparecen otros, así que toma la plantilla como punto de partida y consulta la documentación actual de cada proveedor.