Cómo configurar Screaming Frog desde 0.

 

Ya seas un súper experto en SEO o te estás iniciando en este mundillo, hay una herramienta que será tu comodín para poder realizar tu trabajo. Screaming Frog es una de las herramientas básicas del SEO y saber usarla es imprescindible para poder crawlear una web en busca de posibles mejoras. Si algún SEO te ofrece hacer una auditoría sin usar Screaming Frog, cuelga el teléfono y llámame a mi.

Screaming Frog tiene una versión gratuita que te permite rastrear hasta 500 URLs, es más que suficiente para aprender a usarla y hacer experimentos, pero si quieres trabajar con ella y crawlear grandes webs te recomiendo que pases por caja y compres la licencia que suele estar por los 99 euros en un pago anual (muy muy barato si la comparas con otras herramientas imprescindibles para el SEO como Ahref).

Una vez que tienes la licencia, los límites de Screaming Frog vendrá determinados por el equipo que tengas en casa. Screamig Frog es una bestia. En resumida cuentas, vale la pena cada euro que le metas.

La primera vez que me descargué la herramienta y la vi, me eché a llorar. Screaming frog es, seamos sinceros, fea y poco intuitiva. Sobre todo en un momento en el que cada vez estamos más acostumbrados al concepto de arrastrar y clickar, incluso con herramientas complejas, pero Screaming Frog no es así. Su interfaz es dura dura, pero cuando te haces con ella te parece la herramienta más bonita del mundo.

¿Qué es lo que hace todo el mundo cuando se baja Screaming Frog? Colocar la Url que quiere analizar y darle a start. Los resultados ya son alucinantes, pero seguramente no son lo que estás buscando. Para aprender a utilizar Screming Frog con cabeza hay que aprender a configurarlo. Es la única manera que tienes para que Screming Frog te dé los resultados que buscas, le saques todo su potencial y que entiendas todas sus funcionalidades.

Si sigues los pasos de este post tendrás tu primera configuración de Screaming Frog hecha y lista para crawlear.

Cómo usar Screaming Frog y configurar el Spider

Recuerda que en este tutorial vamos a realizar una configuración básica del Spider, como verás las opciones en Screaming Frog son numerosas y tendrás que saber para qué quieres hacer el crawleo antes de ponerte a configurar nada en la herramienta. Una vez hecho este apunte. El Spider de Screming Frog se encuentra en la pestaña de Configuración.

 

Haz click en el Spider y empezamos la configuración para rastrear una web. Cuando hagas click se abrirá el siguiente cuadro. Una de las novedades de las últimas versiones es la capacidad para seleccionar de forma individual si queremos que realice el rastreo y el almacenaje, si no seleccionamos cualquiera de estas opciones, le diremos a Screaming Frog que rastree, pero no almacene o ambas.

Configuración del Crawl de Spider SEO

(Screaming Frog versión 12.6)

El primer cuadro que nos parece se divide en tres secciones, vamos a ir viéndolas una por una:

Resource Links. Seleccionando estos 4 campos indicamos a Screaming Frog que rastree las URLs de la web elegida los siguientes recursos, el SWF (Shockwave Flash) es un recurso que ha quedado obsoleto, aún así hay algunas webs que todavía lo usan.

☑️ Images: rastrea los archivos de imagen y analiza su código de respuesta. Aún no seleccionando el rastreo para las imágenes, si estas están vinculadas por cualquier medio, Screaming Frog las rastreará.

☑️ CSS: rastrea las hojas de estilo y analiza su código de respuesta.

☑️ JavaScript: rastrea los archivos JavaScript y analiza su código de respuesta.

☑️ SWF: rastrea los formato de archivo Adobe Flash y analiza su código de respuesta.

 

Page Links. Estos campos hace referencia a los enlaces que contienen las páginas.

☑️ Internal Hyperlink: Con esta opción, que viene por defecto en la configuración del Spider, se rastrea y almacena los hipervínculos internos, es decir los enlaces entre páginas de la misma web.

☑️ External Links: Screaming Frog sigue a los enlaces de una página web que se dirigen a un destino de enlace que está en otro sitio web.

☑️ Canonicals: la herramienta rastrea todas aquellos enlaces que están etiquetados como canonicals (en elementos de enlace canónicos o encabezado HTTP). Y le ayuda a descubrir nuevas Urls.

☑️ Pagination (Rel Next/Prev): Busca los enlaces rel=»next» y rel=»prev» y rastrea los links que hay dentro de ellos. Hay que tener en cuenta que google ya ha anunciado que no le da importancia a las paginaciones (con el dolor de cabeza que han dado), así que es un elemento que pierde importancia. De hecho, Screaming frog no lo analiza por defecto.

☑️ Hreflang: Si tienes una web en diferentes idiomas te interesa esta opción o para auditar la implementación de hreflang en tu web. Si seleccionas la opción de crawleo, rastrearás los atributos hreflang de las URLs, si no lo seleccionas, por defecto Screaming Frog extraerá los atributos de hreflang y mostrará el idioma de hreflang y los códigos de región y la URL en la pestaña hreflang .

☑️ AMP: Esta opción es solo recomendable si quieres auditar la versión AMP, porque por defecto Screaing Frog no extraerá detalles de las URL de AMP contenidas en las etiquetas de enlace rel = «amphtml».

☑️ Meta Refresh: Por defecto, SEO Spider almacenará y rastreará las URL contenidas en una meta actualización. En este tipo te etiquetas <meta http-equiv=”refresh” content=”8″>, muy utilizadas para redigir de forma automática a los visitantes hacia una sección de la web que nos interesa.

 

Crawl Behaviour: Esta sección hace referencia al comportamiento de rastreo.

☑️ Check Links Outside of Start Folders:  Esta opción te permite rastrear los links que están fuera de la carpeta del inicio del crawleo. Es necesaria si por ejemplo tenemos alojado en una carpeta diferente las hojas de estilo o el Javascript.

☑️ Crawl Outside of Start Folders:  La ranita empieza a rastrear desde la url, subdomio o carpeta que le marquemos, marcando esta opción rastreará fuera de ese punto de inicio.

☑️ Crawl All Subdomains: Por defecto, SEO Spider solo rastreará el subdominio desde el que rastrea y tratará todos los demás subdominios encontrados como sitios externos.

☑️ Follow Internal «nofollow»: Por defecto, SEO Spider no rastreará enlaces internos con los atributos «nofollow», «patrocinado» y «ugc», o enlaces desde páginas con la etiqueta meta nofollow y nofollow en el encabezado HTTP X-Robots-Tag

☑️ Follow External»nofollow»: Igual que la anterior opción pero para los external «nofollow»

 

XML Sitemaps: En esta sección se configura el seguimiento a los Sitemaps

☑️ Crawl Linked XMLSitemaps: Screaming Frog no rastrea XML Sitemaps de forma predeterminada. Cuando se selecciona se activan dos opciones más, una para que autodescubra los sitmaps que pueden haber y la otra opción es para decirle que sitemaps queremos que rastree, simplemente pegándole la Url donde se encuentre el sitemap, Screaming Frog te añadiría ese rastreo al que está haciendo en la web. De esta manera se puede afinar aún más en el crawleo de la web.

 

Configuración del Extraction de Spider SEO

☑️ Page Details: en esta sección lo importante para nuestra primera configuración de Screaming Frog es seleccionar todo lo que queramos que la ranita extraiga de las páginas que rastree.

☑️ URL Details: en esta sección tenemos que tener en cuenta si queremos que el rastreo nos ofrezca los tiempos en segundos que tarda en descargar cada URL, basta con seleccionar la pestaña de Response time.

☑️ HTML: Hay que marcar estas pestañas si quieres guardar el html estático y verlo luego en la pestaña de código fuente, es un código que también puedes explorar desde la consola de Google. 

 

Configuración del Limits de Spider SEO

 

De esta pestaña deberías tener en cuenta estas tres opciones para una configuración básica de Screaming Frog:

☑️ Limit Crawl Total: Que únicamente debes de tocarlo si quieres reducir el número de URLs a rastrear, por ejemplo si no quieres rastrear la web entera o quieres una visión rápida.

☑️ Limit Max Folder Depth: Esta opción es por si quieres indicarle el nivel de profundidad de directorios que quieres que la araña se meta desde la URL que empiezas a rastrear. Por ejemplo, en mi web agusromero.com, un directorio más profundo sería: agusromero.com/sobre-mi/

☑️ Limit Number of Query Strings: Esta opción es para sitios normalmente muy grandes tipo ecommerce y sitios con mucho contenido y filtros de búsqueda. Si queremos limitar los parámetros de rastreo podemos el número máximo de parámetros a seguir. También se puede excluir estos parámetros de forma manual en la pestaña «URL Rewriting».

☑️ Max Redirects to Follow: Aquí especificamos el largo de la cadena de redirecciones que indicamos que la araña de SEO tiene que seguir, este apartado está relacionado con el Always Follow Redirects, que se encuentra en la pestaña de Advanced. Para entenderlo, le decimos cuentos 301 o 302, como máximo queremos que siga cuando los encuentra. Con 5 suele ser más que suficiente. 

 

Configuración del Rendering de Spider SEO

 

 

☑️ Rendering: En esta pestaña lo que a priori vas a necesitar es rastrear con la opción de Solo Texto, con ella rastrearás y extraerás solo el HTML.

 

Configuración del Advanced de Spider SEO

☑️ Always Follow Redirects: Es importante indicarle al SEO Spider que siga todas las redirecciones, a veces a más de una, que partiendo de una URL se redirige con un 301 o 302 hasta la URl final. De esta manera podremos ver toda la cadena de redirecciones que puede tener esa URL.

Por ejemplo: prueba1.com con un 301 hacia⟶ prueba2.com con un 301 hacia ⟶ pruebadefinitiva.com que sería la URL en donde acaba la cadena y por ende la URL final que estamos buscando.

☑️ 5xx Response Time Out: A veces los servidores tienen errores temporales, podemos fijarle un tiempo máximo en el que la araña dejará de intentar entrar en la URL.

☑️ 5xx Response Retries: También hay fallos de respuesta del servidor, no está de más darle algo de margen de error y pedirle a Screaming frog que reintente la llamada de nuevo.

 

Configuración del Preferences de Spider SEO

☑️ Page Title Width: Aquí en principio no habría que tocar nada, aunque ya sabemos que las SERP son caprichosas y de vez en cuando nos cambian el número de píxeles y caracteres que podemos visualizar, además también cambia entre la versión mobile y desktop. Así que yo suelo dejarlo como viene. A algunos SEOs les he visto que cambian los píxeles máximos a 500 y los caracteres máximos a 55.

☑️ Page Title Width: En este apartado pasa un poco lo mismo, hay quien baja los píxeles máximos a 900. 

Los demás apartados los puedes configurar a tu gusto, pero en principio esta configuración es válida, a no ser que necesites algo más personalizado. 

IMPORTANTE: Tres apuntes más.

☑️ Speed: En la misma pestaña de Configuración hay otra opción llamada Speed.  Screaming Frog es una herramienta muy potente, tanto que a veces hace enfadar a algunos servidores por el número de peticiones que le solicita. Incluso puedes colgar alguna web si lanzas muchas peticiones excesivamente rápido. Si la web que vas a rastrear no es gigantesca y puedes dedicarle un poco más de tiempo al rastreo (es cuestión a veces de unos pocos segundo más), te recomiendo que le bajes el Max Threads a Screaming Frog, el servidor te lo agradecerá y reducirás notablemente la posibilidad de dejar colgada la web que estás analizando. Normalmente con ponerle un máximo de 2 es suficiente.

 

☑️ User Agent Configuration: Algunos servidores, por motivos de seguridad tienen capado el acceso a Screaming Frog en sus servidores por lo que te he explicado hace un momento, y también algunos freaks lo tiene bloqueado el acceso de esta herramienta por robots.txt. Para ello, Screaming Frog te permite rastrear haciendo pasar por otros bots que nadie en su sano juicio bloquearía como son el bot de Google. En User Agent Configuration también en la pestaña de Configuración, tienes esta opción. A algunos SEOs les gusta rastrear las webs directamente haciéndolo como si fueran Google, es una opción tan válida como hacerlo con la arañita de esta herramienta. Eliges tú. 

 

☑️ Memory Configuration: Si vais a rastrear una web grande tenéis varias opciones de almacenaje en Screaming Frog, pero esto es algo más complejo. Lo que tenéis que tener en cuenta es que en Configuracion en la pestaña de Sytem (a la que le dedicaré otro post), lo único que tenéis que hacer es asignarle más memoria RAM al rastreo si la web es muy grande y no queréis quedaros a medias, con unos 8 GB normalmente puede enfrentarte a webs bastante grandes. Para webs normales con 4 GB vais sobrados. Si por cualquier caso os quedáis a medias en un rastreo que ya tenéis por la mitad por falta de RAM, dadle a pause en el rastreo, venid a esta pestaña y ampliadla para que siga. Ya veréis que vuelve a coger su velocidad normal. Cuando falta memoria RAM notaréis que el rastreo empieza a ir muy lento. Screaming Frog es una bestia, si veis que va despacio es que algo falla.

 

Bueno pues con esto ya está listo Screaming Frog para arrancar, introduce la url, subdirectorio o carpeta que quieras rastrear y voilá, prepárate para la magia.

Según el tamaño de la web que estés rastreando, el SEO Spider podrá tardar un poco más o menos en finalizar su crawleo. Si es una web muy grande y tiene miles de enlaces, la mejor idea es irte a tomar algo mientras la herramienta hace su trabajo, dependerá mucho de la potencia de tu PC, del tamaño de la web y de la configuración.  Pero te aseguro que cada minuto de espera, vale la pena.

 

¿Necesitas una auditoría SEO? Tengo una oferta que se ajusta a tus necesidades.

 [/vc_column_text][/vc_column][/vc_row]