Un archivo robots.txt es un documento de texto plano que se coloca en la raíz de un dominio (por ejemplo, tudominio.com/robots.txt) para indicar a los rastreadores de los buscadores qué partes de la web pueden visitar y cuáles prefieren que eviten. No es una barrera de seguridad ni un mecanismo que oculte páginas de Google: es, más bien, una hoja de instrucciones que los robots «de buena fe» respetan de forma voluntaria.
¿Qué hace un archivo robots.txt?
Su función principal no es «esconder» contenido, sino gestionar el presupuesto de rastreo: la cantidad de páginas que un buscador está dispuesto a revisar en tu sitio dentro de un periodo de tiempo. En webs grandes, con miles de URLs, dirigir ese presupuesto hacia el contenido que de verdad importa (y alejarlo de páginas de filtros, buscadores internos o áreas administrativas) puede marcar la diferencia en cuánto y qué tan rápido se indexa.
Un error muy habitual es pensar que robots.txt evita que una página aparezca en Google. No es así: bloquea el rastreo, no la indexación. Si otras webs enlazan a una URL bloqueada, Google puede llegar a mostrarla en resultados igualmente, aunque sin descripción, porque nunca llegó a visitarla. Para impedir de verdad que una página aparezca en el buscador hace falta la etiqueta noindex o protegerla con contraseña.
Cómo se escribe un archivo robots.txt
La sintaxis se apoya en un puñado de directivas que se combinan según lo que necesite cada sitio:
- User-agent: a qué robot se dirige la regla. Un asterisco (*) significa «todos los robots».
- Disallow: qué ruta no debe rastrear ese robot.
- Allow: crea una excepción dentro de una ruta que, de otro modo, estaría bloqueada.
- Sitemap: indica dónde está el mapa del sitio, para que el rastreo sea más eficiente.
Un ejemplo básico, que permite el acceso a todo el sitio y declara el sitemap, sería:
User-agent: *
Disallow:
Sitemap: https://tudominio.com/sitemap.xmlY este otro bloquearía únicamente el panel de administración de un WordPress, dejando el resto del sitio accesible:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.phprobots.txt y llms.txt: dos archivos con propósitos distintos
El robots.txt clásico regula el comportamiento de los rastreadores de búsqueda tradicionales (Googlebot, Bingbot…). El llms.txt es un archivo más reciente, todavía en fase de adopción, pensado para orientar a los bots de los modelos de IA sobre cómo pueden acceder y usar el contenido de un sitio. Son complementarios, no intercambiables: bloquear una carpeta a Google en robots.txt no impide automáticamente que un modelo de IA la utilice si no existe también una directriz equivalente pensada para ese propósito.
Es un terreno todavía en construcción, con estándares que van cambiando, así que conviene revisarlo con cierta frecuencia si te importa cómo se usa tu contenido fuera de la búsqueda tradicional.
Qué NO hace un archivo robots.txt (y por qué importa saberlo)
- No garantiza que una página no aparezca en Google. Solo evita que se rastree; para eso existe la etiqueta noindex.
- No obliga a nadie a cumplirlo. Los buscadores serios lo respetan, pero un bot malicioso puede ignorarlo sin ninguna consecuencia técnica.
- No protege información sensible. El archivo es público: cualquiera puede leerlo escribiendo /robots.txt tras un dominio, así que nunca debería usarse como si fuera una contraseña.
Un matiz que se olvida a menudo
Un robots.txt mal configurado no es un detalle menor: bloquear sin querer una carpeta con contenido importante, o dejar fuera archivos CSS y JS necesarios para que Google entienda cómo se ve la página, puede pesar en el posicionamiento SEO tanto como cualquier otro error técnico. Antes de dar por bueno un cambio, conviene comprobarlo en Google Search Console, que permite verificar cómo interpreta Google cada línea del archivo.