Un podcast de Google, llamado Search Off, hizo un episodio en vídeo sobre crawling (rastreo web) en el que participaron John Mueller, Lizzie Harvey y Gary Illyes, nomvres conocidos en el ámbito del SEO.
Hablaron sobre mitos, problemas y mejoras posibles en el rastreo.Aclararon que más rastreo en una web no significa mejor calidad del sitio. Puede ocurrir por mucho contenido o ataques que generen URLs nuevas. Indicaron que hasta sitios sin cambios frecuentes necesitan revisiones regulares.
Gary recomendó el encabezado “If-Modified-Since” para detectar cambios y reducir costes.
Los invitados debatieron sobre los pros y los contras de una futura optimización: verificar solo partes del contenido que cambian de una web.
También plantearon usar bloques en el robots.txt. Discutieron sobre cómo los servidores afectan la detección de cambios, y hablaron de los problemas que dan los parámetros en URLs y su impacto en el rastreo.
Insistieron en la importancia de revisar las estadísticas de Google Search Console y mejorar el presupuesto de rastreo, e indicaron que suele hacerse menos de lo que les gustaría. También criticaron la falta de comunicación entre GoogleBot y los servidores DNS.
Leave a Reply