Hoy lector, vas a leer acerca de una herramienta de análisis de logs (ahora también tiene un crawler), que desde que Juan Gonzalez Villa me la recomendó, no he dejado de utilizar para saber por donde entra la araña de Google. Cuales son las urls que más lee y así intentar entender un poquito más sobre el GoogleBot.
Todo este análisis es fundamental en SEO, sobre todo en webs grandes y con un montón de urls.
Lo primero que tienes que saber es que es totalmente gratuita y que es muy fácil de implementar. Puedes hacer la implementación y el análisis de varias formas
A partir del 4 de Noviembre de 2019, Seolyzer pasa a ser de pago 🙁
Seolyzer tiene otras herramientas más allá del análisis de Logs.
- Un Crawler (aunque bastante menos potente que Screaming Frog) Ojo, recientemente han añadido una nueva funcionalidad para su Crawler, en la que puedes incluir URLS a rastrear en modo lista.
- Te hace un rastreo de las visitas que llegan desde Google.
Te recomiendo que sigas a su CEO en Twitter, para enterarte de todas las novedades de Seolyzer.
¿Cómo instalar Seolyzer?
Contenidos
Esta herramienta de origen francés, tiene varias opciones por las que vas a poder analizar logs:
- Análisis en tiempo real
- Subir un log
- Subir log por FTP
Personalmente prefiero el análisis en tiempo real, ya que puedo comprobar online si hay algún error de lectura, cuando ha sido la última vez que ha pasado el bot o si el bot está pasando por errores 404. Te hablaré en otros contenidos para que sepas, qué es un log y como analizarlo. De la otra forma, tendríamos que descargar el log e ir subiéndolo a la aplicación cada vez que quisiéramos hacer un análisis.
También el panel te permite dar acceso a algún usuario de Seolyzer como autorizado para que pueda visualizarlos.
Análisis en tiempo Real
Como he dicho es la opción preferida, dentro de está tienes dos opciones. Una, si alojas tus webs en un hosting (tendrías que hacer la operación por cada web) y otra más cómoda si tienes muchas webs en el mismo servidor. De está forma en función del S.O, Ubuntu, Debian, Centos etc, y accediendo por SSH completarías la activación.
Es una opción muy sencilla si estás familiarizado con la línea de comandos.
En un hosting compartido también es fácil de instalar.
- Recuerda hacer copia de seguridad antes de seguir todos estos pasos.
- Descarga el archivo .php que verás.
- Sube el archivo por FTP o Cpanel a través del administrador de archivos a la carpeta raiz (donde están todos los archivos el index.php etc.. de tu FTP.
- Copia el código php en algún archivo que esté en todas las páginas de tu sitio web. Si usas WordPress, el más común es el wp-config.
- Haz el test de verificación, donde si todo está correcto te dirá que has cumplido con tu misión de instalar Seolyzer.
Como ves es muy fácil de implementar. Si te surge alguna duda sobre como instalarlo, déjamelo en comentarios e intentaré ser más gráfico.
Opciones de Log Analysis
A través de este menú, se te despliegan todas las opciones de Log Analyser, desde la frecuencia de rastreo, un ranking con las urls más rastreadas, rastreos en http y https (para detectar errores de implementación)
Crawl Volume
Realmente esta es la base del resto de pestañas. En ella vas a ver los siguientes campos:
- Fecha del rastreo
- Código de respuesta al hacer el rastreo, 404, 301, 200
- La ip que nos hace el rastreo, habitualmente los rastreos de Google se hacen desde ips que empiezan por 66.249.
- El tipo de Bot que nos ha rastreado, cada vez más veras este: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html), el otro que aparece es móvil.
- Tiempo de descarga, aquí podremos detectar anomalías en urls que tarden mucho en ser procesadas por el bot.
- Fecha de grabacion del log, si te fijas con respecto a la fecha de rastreo, la diferencia es de un segundo. Depende directamente del tiempo de descarga.
- Fecha de primer rastreo, está es la fecha en la que nos encontró por primera vez.
Desde esta pestaña de Crawl Volume podemos sacar todos los datos para las restantes, salvo una nueva implementación de Seolyzer, que ahora te comentaré.
Cuando me refiero a que podemos sacar los datos para las restantes pestañas, me refiero a que utilizando Excel, Sheets o cualquier herramienta de tratamiento de datos, nos va a ser muy fácil visualizar esos datos.
Si no quieres extrapolar esos datos a ninguna herramienta, te vas a perder muchas cosas, se me ocurre una así a bote pronto imagínate que hay problema de carga de la web y el promedio de carga del sitio ha subido ligeramente en Julio con respecto al mes anterior. Esto la herramienta no nos lo dice y haciendo una sencilla tabla dinámica podríamos obtener esos datos.
Ya si somos capaces de cruzar esos datos con Analytics, para detectar un posible pico de visitas que haya podido ralentizar este hecho (nos dirá que nuestro servidor/hosting se colapsa). O cualquier otro dato que se te ocurra por el cual puede haber habido este incremento en el tiempo de carga, pues genial.
También te digo, que las opciones que trae por defecto Seolyzer y sus paneles están bastante bien para ser gratuitos.
Te destaco algunas pestañas
Http Status Code
En esta pestaña veremos una agrupación de los códigos de estado, podemos visualizar fácilmente los 404 del último mes y así arreglar, o no, este código de respuesta.
AVG Performance y Perfomance
Desde esta pestaña vas a poder visualizar los tiempos de carga diarios y también vas a poder encontrar de una forma muy visual las urls que más tardan en cargar, para así poder tomar acción sobre ellas, ya que si tarda para el bot, lo normal es que tarde para el usuario.
Yo este dato de tiempo de carga, lo cruzo con el dato que nos da Screaming Frog de «Response Time», para así sacar datos mas certeros.
Most Crawled
Nos muestra un ranking con las urls más crawleadas por las fechas que indiquemos. Muy útil saber que url es la que más le gusta al bot, de está forma le puedes guiar por tu web por las partes que quieras que rastree.
Bad Robots
Esta es la opción que no nos brinda la pestaña Crawl Volume, ya que está sólo te muestra el bot de Google.
En Bad Robots, vas a visualizar esas arañas habitualmente maliciosas que rastrean tu web, las considera maliciosas, ya que las ip las tiene detectadas como tales, imagino que estarán en las típicas listas negras de ips. Ojito con los excesos de peticiones de estos Bad Bots, podrían ralentizar el servidor. Bloquear sus ips y evitar que te rastreen ya depende de ti.
Anotaciones finales
Considero capital que tengas detectados todos estos puntos y muchos más que se te ocurran cruzando Seolyzer o interpretando los datos a tu manera. El análisis de Logs es fundamental en cualquier estrategia SEO y más vital cuanto mayor sea la web.
Yo personalmente tengo estos datos, implementados junto a otros en un Panel de Control de Data Studio donde visualizo evoluciones, cambios de tendencia, excesos en 404 o en 301.
La primera vez que analice logs, me di cuenta de que rastreaba mucho un archivo que daba 404, era el conocido como ads.txt, que está directamente relacionado con los anunciantes permitidos. A partir de esa fecha, implemente ads.txt en todos mis sitios webs.
Si necesitas, ayuda, que preparemos algún informe, o algún panel de control puedes pedírmelo en comentarios o a través del formulario de contacto.
Si necesitas servicios de Posicionamiento web, te recuerdo que me dedico al SEO en Jaén y también fuera de estás fronteras.
Un abrazo