Antes de que Google pueda decidir si una página merece aparecer en sus resultados, necesita primero descubrirla y visitarla. El rastreo es precisamente ese primer paso: el proceso mediante el cual los robots de los buscadores (como Googlebot) recorren internet, visitando páginas web y siguiendo enlaces de una a otra para descubrir contenido nuevo o cambios en contenido ya conocido.
Cómo descubre Google una página por primera vez
- Siguiendo un enlace desde otra página ya conocida y rastreada previamente.
- A través de un sitemap XML enviado directamente a Google Search Console.
- Mediante una solicitud manual de rastreo, disponible dentro de la herramienta de inspección de URLs de Search Console.
- Detectando cambios en páginas que ya rastrea de forma periódica según su propia frecuencia de revisión.
El presupuesto de rastreo, un concepto que afecta sobre todo a webs grandes
Google no dedica recursos ilimitados a rastrear cada web: asigna un «presupuesto de rastreo» (crawl budget) aproximado según la autoridad, el tamaño y la frecuencia de actualización del sitio. En webs muy grandes, con millones de páginas, gestionar bien este presupuesto (evitando desperdiciarlo en páginas de bajo valor) puede marcar una diferencia real en qué contenido nuevo se descubre antes.
Qué puede impedir o dificultar el rastreo de una página
- Un archivo robots.txt que bloquea, intencionadamente o por error, el acceso de los bots a esa sección concreta.
- Páginas huérfanas, sin ningún enlace interno que las conecte con el resto del sitio, dificultando que los bots las encuentren siguiendo enlaces.
- Errores de servidor que impiden a los bots acceder correctamente al contenido en el momento del intento de rastreo.
- Una velocidad de respuesta del servidor demasiado lenta, que puede hacer que Google reduzca la frecuencia de sus visitas de rastreo.
Rastreo no es lo mismo que indexación, un matiz que conviene recordar
Que Google rastree una página no garantiza que la vaya a indexar (guardarla en su base de datos para mostrarla en resultados): puede rastrearla y, tras evaluarla, decidir no indexarla por baja calidad, contenido duplicado o una etiqueta noindex explícita. El rastreo es el paso previo necesario, pero no suficiente por sí solo, para que una página llegue a posicionar en cualquier búsqueda.