Cuantos recursos dedica Google a rastrear tu página web?

búsqueda cache: para ver copia en memoria de tu web en google

Cuantos recursos dedica Google a rastrear tu página web?

Print Friendly, PDF & Email

En 2014 se celebraron los 25 años de Internet anunciando a bombo y platillo que existen más de 1000 millones de páginas web en la red y que con la democratización de la construcción de webs y blogs este número sigue creciendo a un ritmo frenético. ¿Por qué Google iba a dedicar su valioso tiempo y electricidad en rastrear mi página web y no la del vecino?

Si debiéramos repartir entre todos los sitios del mundo las 24h del día esto daría una cifra ridícula. Es evidente que Google debe implementar algún ingenioso sistema para poder rastrear e indexar cuantas más páginas web al día mejor. Y este sistema debe incluir, las páginas conocidas y las nuevas páginas por conocer.

Todo un reto tecnológico que es posible gracias a las arañas de google (Google Bots) y a los preciosos data centers como el de la imagen a continuación.

Google nos explica en este enlace como hace posible la proeza de rastrear la web e indexarla.

  1. En una primera fase Google tiene un ejercito de arañas que van siguiendo los enlaces que van encontrando en la red.
  2. En una segunda fase estas arañas encuentran un sitio web y almacenan en memoria una copia para ser estudiada a posteriori.
  3. En una tercera fase entra la artillería pesada de estudio de datos para tomar decisiones sobre la información leída y etiquetar nuestras páginas web para determinadas búsquedas (querys) que los usuarios puedan hacer en internet.

Pues bien, el caso es que para cada página web conocida Google le asigna un Crawl Budget (o presupuesto de indexado) que viene a indicar cuantas páginas al día lee de nuestra página web.

Cuando indexó Google un contenido por última vez?

Muy bien. Entonces porqué a veces escribo y no se indexan mis nuevas entradas en el blog?

Lo primero es comprobar que efectivamente así esta sucediendo.

Si escribes contenidos y ves que no se indexan una posibilidad es que google no haya visitado tu página web todavía. Según lo que hemos explicado anteriormente parece lógico….

Para saberlo haz la búsqueda siguiente:

¿Y cuando indexará google mi página?

Entramos de lleno en el concepto de Crawl Budget. Esto es ni más ni menos que una bolsa de url que google va a decidir indexar de tu web. Por ejemplo la página de inicio, la de contacto, el sobre-mi y 2 entradas en el blog. Esto seria un Crawl Budget de 5 para el caso particular que estoy describiendo.

Fijaros que hay url que con probabilidad se van a indexar más que las otras porqué Google les otorga una mayor importancia relativa en comparación a las otras que puedes tener en tu web. Y que por lo tanto habrán url de tu web que incluso podrían llegarse a indexar… ¡nunca!

En proyectos nuevos el Crawl Budget suele ser bajo. Como es mi caso. ¿Dónde lo miro?

Crawl Budget de Google
¡Oh dios mío! ¡Zero páginas rastreadas el dia 1 de enero de 2018!

En mi caso actual particular todo es más bien normal. En el momento en el que estoy mirando tengo una media de 3 url indexadas al día.

Y según el mapa del sitio de mi web ya he enviado a indexar 36 páginas y 29 imágenes…. es decir que haciendo una pequeña división, la información que me está dando google es que va a necesitar 22 días para indexar todos los contenidos de mi sitio si a día de hoy dejase de añadir nuevas entradas, páginas e imágenes

Google va a necesitar un mínimo de 22 días para indexar todos los contenidos actuales. ¡Casi nada!
url enviadas para indexación en Search console
URL enviadas para indexación a google según mi mapa del sitio a fecha actual

Truquillos para incrementar tu presupuesto diario de rastreo

La idea es muy sencilla: no le hagas perder el tiempo a la araña de Google.

  • Puedes optimizar tu robots.txt (esto explicaré otro día como se hace que la entrada de hoy ya me está empezando a consumir un exceso de presupuesto diario de tiempo asignado a mi blog 😉
  • Si utilizas el plugin de Yoast SEO para wordpress optimiza con cabeza que contenidos vas a decidir indexar. Por ejemplo en mi caso particular no estoy indexando ni etiquetas ni categorías para evitar problemas de contenido duplicado pero sobre todo para paliar un poquito mi carencia de crawl budget.
  • Si utilizas plantilla de pago mucho cuidado con indexar taxonomías que no usas para nada. Me refiero a las tipicas doctors_categories, portfolio_categories, …. etc
  • Publica con frecuencia. Si escribes con cierta regularidad google va a acabar aprendiendo y ajustando sus sistemas para pasar con más frecuencia por tu sitio web.
  • Evita los enlaces rotos dentro de tu página y hacia fuera o de fuera a dentro. Google odia el aviso 404 porqué es un gasto inútil de tiempo y recursos dedicados al  rastreo e indexación.

Pero si hay algo que puedo recomendar, no intentes engañar nunca nunca nunca a Google. Se daría cuenta y te interesa más estar de su lado. O de lo contrario ya no sería white SEO sino Black SEO y a la larga termina siendo un mal camino sino eres un crack como el famoso Chiuso… ¡date un vistazo por su web ;)!

Hasta aquía la entrada de hoy. Si te ha parecido interesante o tienes alguna idea que complemente o mejore la entrada házmelo saber en los comentarios!

Etiquetas:
Francesc Ricart
hola@francescricart.com

Soy un ingeniero industrial a quién le apasiona aprender y enseñar. En el mundo del marketing online he encontrado una de mis pasiones. Ejerzo como docente ocupacional y privado para empresas. Y también hago consultoría web para PIMES, autónomos y otros emprendedores como yo. Ayudo a las empresas en cualquier temática relacionada con su presencia digital y herramientas web. Aunque mi especialidad es el posicionamiento en buscadores (SEO). A nivel de formación lo que más feliz me hace es que un alumno haga de mi pasión una forma de vida y le ayude a encontrar trabajo. A nivel de negocios ayudo a empresarios a desenvolverse con soltura en el mundo digital y les animo a hacer cada vez más cosas que nunca hubieran imaginado que ellos también podían hacer. En este camino les ayudo haciendo todo aquello dónde ellos no llegan y crecemos juntos. Encontraréis más acerca de mi en la página sobre mi

No hay comentarios

Escribir un comentario

  Acepto la política de privacidad

Responsable: FRANCESC RICART MUÑOZ.

Finalidad: Gestionar los comentarios que realizas en este blog.

Destinatarios: No se cederán datos a terceros, salvo obligación legal.

Derechos: Tienes derecho a acceder, rectificar y suprimir los datos, así como otros derechos, como se explica en la política de privacidad.