seo spider

C贸mo configurar Screaming Frog desde 0.

 

Ya seas un s煤per experto en SEO o te est谩s iniciando en este mundillo, hay una herramienta que ser谩 tu comod铆n para poder realizar tu trabajo. Screaming Frog es una de las herramientas b谩sicas del SEO y saber usarla es imprescindible para poder crawlear una web en busca de posibles mejoras. Si alg煤n SEO te ofrece hacer una auditor铆a sin usar Screaming Frog, cuelga el tel茅fono y ll谩mame a mi.

Screaming Frog tiene una versi贸n gratuita que te permite rastrear hasta 500 URLs, es m谩s que suficiente para aprender a usarla y hacer experimentos, pero si quieres trabajar con ella y crawlear grandes webs te recomiendo que pases por caja y compres la licencia que suele estar por los 99 euros en un pago anual (muy muy barato si la comparas con otras herramientas imprescindibles para el SEO como Ahref).

Una vez que tienes la licencia, los l铆mites de Screaming Frog vendr谩 determinados por el equipo que tengas en casa. Screamig Frog es una bestia. En resumida cuentas, vale la pena cada euro que le metas.

La primera vez que me descargu茅 la herramienta y la vi, me ech茅 a llorar. Screaming frog es, seamos sinceros, fea y poco intuitiva. Sobre todo en un momento en el que cada vez estamos m谩s acostumbrados al concepto de arrastrar y clickar, incluso con herramientas complejas, pero Screaming Frog no es as铆. Su interfaz es dura dura, pero cuando te haces con ella te parece la herramienta m谩s bonita del mundo.

驴Qu茅 es lo que hace todo el mundo cuando se baja Screaming Frog? Colocar la Url que quiere analizar y darle a start. Los resultados ya son alucinantes, pero seguramente no son lo que est谩s buscando. Para aprender a utilizar Screming Frog con cabeza hay que aprender a configurarlo. Es la 煤nica manera que tienes para que Screming Frog te d茅 los resultados que buscas, le saques todo su potencial y que entiendas todas sus funcionalidades.

Si sigues los pasos de este post tendr谩s tu primera configuraci贸n de Screaming Frog hecha y lista para crawlear.

C贸mo usar Screaming Frog y configurar el Spider

Recuerda que en este tutorial vamos a realizar una configuraci贸n b谩sica del Spider, como ver谩s las opciones en Screaming Frog son numerosas y tendr谩s que saber para qu茅 quieres hacer el crawleo antes de ponerte a configurar nada en la herramienta. Una vez hecho este apunte. El Spider de Screming Frog se encuentra en la pesta帽a de Configuraci贸n.

Configuracion Screaming Frog

 

Haz click en el Spider y empezamos la configuraci贸n para rastrear una web. Cuando hagas click se abrir谩 el siguiente cuadro. Una de las novedades de las 煤ltimas versiones es la capacidad para seleccionar de forma individual si queremos que realice el rastreo y el almacenaje, si no seleccionamos cualquiera de estas opciones, le diremos a Screaming Frog que rastree, pero no almacene o ambas.

Configuraci贸n del Crawl de Spider SEO

seo spider

(Screaming Frog versi贸n 12.6)

El primer cuadro que nos parece se divide en tres secciones, vamos a ir vi茅ndolas una por una:

Resource Links. Seleccionando estos 4 campos indicamos a Screaming Frog que rastree las URLs de la web elegida los siguientes recursos, el SWF (Shockwave Flash) es un recurso que ha quedado obsoleto, a煤n as铆 hay algunas webs que todav铆a lo usan.

鈽戯笍 Images: rastrea los archivos de imagen y analiza su c贸digo de respuesta. A煤n no seleccionando el rastreo para las im谩genes, si estas est谩n vinculadas por cualquier medio, Screaming Frog las rastrear谩.

鈽戯笍 CSS: rastrea las hojas de estilo y analiza su c贸digo de respuesta.

鈽戯笍 JavaScript: rastrea los archivos JavaScript y analiza su c贸digo de respuesta.

鈽戯笍 SWF: rastrea los formato de archivo Adobe Flash y analiza su c贸digo de respuesta.

 

Page Links. Estos campos hace referencia a los enlaces que contienen las p谩ginas.

鈽戯笍 Internal Hyperlink: Con esta opci贸n, que viene por defecto en la configuraci贸n del Spider, se rastrea y almacena los hiperv铆nculos internos, es decir los enlaces entre p谩ginas de la misma web.

鈽戯笍 External Links: Screaming Frog sigue a los enlaces de una p谩gina web que se dirigen a un destino de enlace que est谩 en otro sitio web.

鈽戯笍 Canonicals: la herramienta rastrea todas aquellos enlaces que est谩n etiquetados como canonicals (en elementos de enlace can贸nicos o encabezado HTTP). Y le ayuda a descubrir nuevas Urls.

鈽戯笍 Pagination (Rel Next/Prev): Busca los enlaces聽rel=禄next禄聽y聽rel=禄prev禄 y rastrea los links que hay dentro de ellos. Hay que tener en cuenta que google ya ha anunciado que no le da importancia a las paginaciones (con el dolor de cabeza que han dado), as铆 que es un elemento que pierde importancia. De hecho, Screaming frog no lo analiza por defecto.

鈽戯笍 Hreflang: Si tienes una web en diferentes idiomas te interesa esta opci贸n o para auditar la implementaci贸n de hreflang en tu web. Si seleccionas la opci贸n de crawleo, rastrear谩s los atributos hreflang de las URLs, si no lo seleccionas, por defecto Screaming Frog extraer谩 los atributos de hreflang y mostrar谩 el idioma de hreflang y los c贸digos de regi贸n y la URL en la pesta帽a hreflang .

鈽戯笍 AMP: Esta opci贸n es solo recomendable si quieres auditar la versi贸n AMP, porque por defecto Screaing Frog no extraer谩 detalles de las URL de AMP contenidas en las etiquetas de enlace rel = 芦amphtml禄.

鈽戯笍 Meta Refresh: Por defecto, SEO Spider almacenar谩 y rastrear谩 las URL contenidas en una meta actualizaci贸n. En este tipo te etiquetas <meta http-equiv=鈥漴efresh鈥 content=鈥8鈥>, muy utilizadas para redigir de forma autom谩tica a los visitantes hacia una secci贸n de la web que nos interesa.

 

Crawl Behaviour: Esta secci贸n hace referencia al comportamiento de rastreo.

鈽戯笍 Check Links Outside of Start Folders:聽 Esta opci贸n te permite rastrear los links que est谩n fuera de la carpeta del inicio del crawleo. Es necesaria si por ejemplo tenemos alojado en una carpeta diferente las hojas de estilo o el Javascript.

鈽戯笍 Crawl Outside of Start Folders: 聽La ranita empieza a rastrear desde la url, subdomio o carpeta que le marquemos, marcando esta opci贸n rastrear谩 fuera de ese punto de inicio.

鈽戯笍 Crawl All Subdomains: Por defecto, SEO Spider solo rastrear谩 el subdominio desde el que rastrea y tratar谩 todos los dem谩s subdominios encontrados como sitios externos.

鈽戯笍 Follow Internal 芦nofollow禄: Por defecto, SEO Spider no rastrear谩 enlaces internos con los atributos 芦nofollow禄, 芦patrocinado禄 y 芦ugc禄, o enlaces desde p谩ginas con la etiqueta meta nofollow y nofollow en el encabezado HTTP X-Robots-Tag

鈽戯笍 Follow External禄nofollow禄: Igual que la anterior opci贸n pero para los external 芦nofollow禄

 

XML Sitemaps: En esta secci贸n se configura el seguimiento a los Sitemaps

鈽戯笍 Crawl Linked XMLSitemaps: Screaming Frog no rastrea XML Sitemaps de forma predeterminada. Cuando se selecciona se activan dos opciones m谩s, una para que autodescubra los sitmaps que pueden haber y la otra opci贸n es para decirle que sitemaps queremos que rastree, simplemente peg谩ndole la Url donde se encuentre el sitemap, Screaming Frog te a帽adir铆a ese rastreo al que est谩 haciendo en la web. De esta manera se puede afinar a煤n m谩s en el crawleo de la web.

 

Configuraci贸n del Extraction de Spider SEO

frog seo

鈽戯笍 Page Details:聽en esta secci贸n lo importante para nuestra primera configuraci贸n de Screaming Frog es seleccionar todo lo que queramos que la ranita extraiga de las p谩ginas que rastree.

鈽戯笍 URL Details: en esta secci贸n tenemos que tener en cuenta si queremos que el rastreo nos ofrezca los tiempos en segundos que tarda en descargar cada URL, basta con seleccionar la pesta帽a de Response time.

鈽戯笍 HTML:聽Hay que marcar estas pesta帽as si quieres guardar el html est谩tico y verlo luego en la pesta帽a de c贸digo fuente, es un c贸digo que tambi茅n puedes explorar desde la consola de Google.聽

 

Configuraci贸n del Limits de Spider SEO

 

screaming frog seo spider tool

De esta pesta帽a deber铆as tener en cuenta estas tres opciones para una configuraci贸n b谩sica de Screaming Frog:

鈽戯笍 Limit Crawl Total: Que 煤nicamente debes de tocarlo si quieres reducir el n煤mero de URLs a rastrear, por ejemplo si no quieres rastrear la web entera o quieres una visi贸n r谩pida.

鈽戯笍 Limit Max Folder Depth: Esta opci贸n es por si quieres indicarle el nivel de profundidad de directorios que quieres que la ara帽a se meta desde la URL que empiezas a rastrear. Por ejemplo, en mi web agusromero.com, un directorio m谩s profundo ser铆a: agusromero.com/sobre-mi/

鈽戯笍 Limit Number of Query Strings: Esta opci贸n es para sitios normalmente muy grandes tipo ecommerce y sitios con mucho contenido y filtros de b煤squeda. Si queremos limitar los par谩metros de rastreo podemos el n煤mero m谩ximo de par谩metros a seguir. Tambi茅n se puede excluir estos par谩metros de forma manual en la pesta帽a 芦URL Rewriting禄.

鈽戯笍 Max Redirects to Follow:聽Aqu铆 especificamos el largo de la cadena de redirecciones que indicamos que la ara帽a de SEO tiene que seguir, este apartado est谩 relacionado con el Always Follow Redirects, que se encuentra en la pesta帽a de Advanced. Para entenderlo, le decimos cuentos 301 o 302, como m谩ximo queremos que siga cuando los encuentra. Con 5 suele ser m谩s que suficiente.聽

 

Configuraci贸n del Rendering de Spider SEO

 

frog seo spider

 

鈽戯笍 Rendering:聽En esta pesta帽a lo que a priori vas a necesitar es rastrear con la opci贸n de Solo Texto, con ella rastrear谩s y extraer谩s solo el HTML.

 

Configuraci贸n del Advanced de Spider SEO

configurar screaming frog

鈽戯笍聽Always Follow Redirects: Es importante indicarle al SEO Spider que siga todas las redirecciones, a veces a m谩s de una, que partiendo de una URL se redirige con un 301 o 302 hasta la URl final. De esta manera podremos ver toda la cadena de redirecciones que puede tener esa URL.

Por ejemplo: prueba1.com con un 301 hacia鉄 prueba2.com con un 301 hacia 鉄 pruebadefinitiva.com que ser铆a la URL en donde acaba la cadena y por ende la URL final que estamos buscando.

鈽戯笍 5xx Response Time Out: A veces los servidores tienen errores temporales, podemos fijarle un tiempo m谩ximo en el que la ara帽a dejar谩 de intentar entrar en la URL.

鈽戯笍 5xx Response Retries:聽Tambi茅n hay fallos de respuesta del servidor, no est谩 de m谩s darle algo de margen de error y pedirle a Screaming frog que reintente la llamada de nuevo.

 

Configuraci贸n del Limits de Spider SEO

configurar screaming frog

鈽戯笍 Page Title Width:聽Aqu铆 en principio no habr铆a que tocar nada, aunque ya sabemos que las SERP son caprichosas y de vez en cuando nos cambian el n煤mero de p铆xeles y caracteres que podemos visualizar, adem谩s tambi茅n cambia entre la versi贸n mobile y desktop. As铆 que yo suelo dejarlo como viene. A algunos SEOs les he visto que cambian los p铆xeles m谩ximos a 500 y los caracteres m谩ximos a 55.

鈽戯笍 Page Title Width:聽En este apartado pasa un poco lo mismo, hay quien baja los p铆xeles m谩ximos a 900.聽

Los dem谩s apartados los puedes configurar a tu gusto, pero en principio esta configuraci贸n es v谩lida, a no ser que necesites algo m谩s personalizado.聽

IMPORTANTE: Tres apuntes m谩s.

configurar screaming frog

鈽戯笍 Speed:聽En la misma pesta帽a de Configuraci贸n hay otra opci贸n llamada Speed.聽 Screaming Frog es una herramienta muy potente, tanto que a veces hace enfadar a algunos servidores por el n煤mero de peticiones que le solicita. Incluso puedes colgar alguna web si lanzas muchas peticiones excesivamente r谩pido. Si la web que vas a rastrear no es gigantesca y puedes dedicarle un poco m谩s de tiempo al rastreo (es cuesti贸n a veces de unos pocos segundo m谩s), te recomiendo que le bajes el Max Threads a Screaming Frog, el servidor te lo agradecer谩 y reducir谩s notablemente la posibilidad de dejar colgada la web que est谩s analizando. Normalmente con ponerle un m谩ximo de 2 es suficiente.

 

configurar screaming frog

鈽戯笍 User Agent Configuration:聽Algunos servidores, por motivos de seguridad tienen capado el acceso a Screaming Frog en sus servidores por lo que te he explicado hace un momento, y tambi茅n algunos freaks lo tiene bloqueado el acceso de esta herramienta por robots.txt. Para ello, Screaming Frog te permite rastrear haciendo pasar por otros bots que nadie en su sano juicio bloquear铆a como son el bot de Google. En User Agent Configuration tambi茅n en la pesta帽a de Configuraci贸n, tienes esta opci贸n. A algunos SEOs les gusta rastrear las webs directamente haci茅ndolo como si fueran Google, es una opci贸n tan v谩lida como hacerlo con la ara帽ita de esta herramienta. Eliges t煤.聽

 

como se configura screaming frog

鈽戯笍 Memory Configuration: Si vais a rastrear una web grande ten茅is varias opciones de almacenaje en Screaming Frog, pero esto es algo m谩s complejo. Lo que ten茅is que tener en cuenta es que en Configuracion en la pesta帽a de Sytem (a la que le dedicar茅 otro post), lo 煤nico que ten茅is que hacer es asignarle m谩s memoria RAM al rastreo si la web es muy grande y no quer茅is quedaros a medias, con unos 8 GB normalmente puede enfrentarte a webs bastante grandes. Para webs normales con 4 GB vais sobrados. Si por cualquier caso os qued谩is a medias en un rastreo que ya ten茅is por la mitad por falta de RAM, dadle a pause en el rastreo, venid a esta pesta帽a y ampliadla para que siga. Ya ver茅is que vuelve a coger su velocidad normal. Cuando falta memoria RAM notar茅is que el rastreo empieza a ir muy lento. Screaming Frog es una bestia, si veis que va despacio es que algo falla.

 

Bueno pues con esto ya est谩 listo Screaming Frog para arrancar, introduce la url, subdirectorio o carpeta que quieras rastrear y voil谩, prep谩rate para la magia.

como configurara screaming frog

Seg煤n el tama帽o de la web que est茅s rastreando, el SEO Spider podr谩 tardar un poco m谩s o menos en finalizar su crawleo. Si es una web muy grande y tiene miles de enlaces, la mejor idea es irte a tomar algo mientras la herramienta hace su trabajo, depender谩 mucho de la potencia de tu PC, del tama帽o de la web y de la configuraci贸n.聽 Pero te aseguro que cada minuto de espera, vale la pena.

 

Si te ha sido 煤til este post y has conseguido configurar tu Screaming Frog, no olvides compartir y dejar tus comentarios.

Sin comentarios

Publicar un comentario

Acepto la聽Pol铆tica de Privacidad

Los datos personales que facilites, ser谩n incorporados a un registro de actividades de tratamiento de datos personales, cuyo responsable es Agust铆n Romero Cascales. La finalidad principal es poder contestarte al mensaje que me env铆as por este formulario de contacto, adem谩s de la recogida es la gesti贸n de las suscripciones generadas y el env铆o de publicaciones sobre marketing digital, posicionamiento web y otras tem谩ticas de la web. La legitimaci贸n se basa en el consentimiento. No se ceder谩n datos a terceros, salvo obligaci贸n legal. Los datos que nos facilitas est谩n ubicados en servidores cuya sede se encuentra dentro del territorio de la UE o gestionados por Encargados de Tratamiento acogidos al acuerdo 鈥淧rivacy Shield鈥. Tiene derecho a acceder, rectificar y suprimir los datos, as铆 como otros derechos, escribiendo a hola@agusromero.com , como se explica en la pol铆tica de privacidad completa . Si no facilitas los datos solicitados como obligatorios, puede dar como resultado no poder cumplir con la finalidad para los que se solicitan. *

Pin It on Pinterest

Share This