Cómo me armé mi propio crawler SEO con IA

Hay una web que analiza más de mil herramientas de pago y te dice si un agente de IA puede construirte una versión propia. Se llama Can I Vibe Code It. La probé con Screaming Frog, el crawler que se usa para auditar webs, y me armé el mío: lo llamé SEO Frog. Aquí te cuento cómo hacerlo y, sobre todo, cuándo no vale la pena.

Qué es Can I Vibe Code It

Can I Vibe Code It es un directorio gratuito y de código abierto. Para cada herramienta de pago te da tres cosas: un veredicto, el prompt para construir tu versión con un agente de IA (Claude Code, Codex o Cursor) y lo que pierdes si dejas la herramienta original.

Veredicto	Qué significa
YES (sí)	Con una sesión de trabajo con un agente tienes una versión personal que funciona.
KINDA (más o menos)	Se puede en un fin de semana, pero quedan huecos reales.
NOT REALLY (no)	El valor está en la red, los datos o la infraestructura, no en el código.

En el caso de Screaming Frog, el veredicto es sí. La licencia cuesta 23,55 USD al mes (unos 282 USD al año, solo con pago anual) y existe una versión gratuita de hasta 500 URLs por análisis. Un detalle que conviene leer: aunque el veredicto habla de una sola sesión, la propia ficha de Screaming Frog estima la construcción en varios días.

Qué necesitas antes de empezar

• Un agente de código con IA: Claude Code, Codex o Cursor.
• Python 3.12 instalado: el prompt arma el proyecto con Python, FastAPI, SQLite, Playwright y HTMX.
• Una terminal: vas a ejecutar un par de comandos, y el agente te dice cuáles.
• Una web propia, o una cuyo dueño te haya dado permiso.
• Tiempo: cuenta con más de una sesión y prueba cada paso antes de seguir.

Paso a paso

1. Busca la herramienta y lee el veredicto completo. En Can I Vibe Code It busca «Screaming Frog» y lee tres partes: el veredicto, por qué la gente sigue pagando y qué pierdes. Si lo que pierdes es justo lo que usas, para aquí.
2. Copia el prompt y ábrelo en tu agente. La ficha tiene botones para abrirlo directamente en Claude Code, Codex o Cursor. El prompt ya define la tecnología, los límites (respetar robots.txt, poner un tope de URLs, confirmar que la web es tuya) y qué problemas tiene que detectar.
3. Añade tu contexto antes de ejecutarlo. Suma una línea con tu objetivo. Por ejemplo, si vas a migrar tu web: «Además del informe, exporta un inventario de todas las URLs con estado, title, meta description, H1 y canonical, para preparar el mapa de redirecciones».
4. Déjalo construir y ejecuta las pruebas. El prompt le pide terminar ejecutando los tests y listando los comandos que usó. Si algo falla, pégale el error tal cual y pídele que lo arregle. Comprueba que las claves queden en un archivo .env y que nunca se suban a un repositorio.
5. Haz tu primer análisis con un límite bajo. Empieza con 100 a 200 URLs para validar que funciona, revisa el informe y solo después sube el límite.

Qué mirar primero en el informe

No empieces por todo a la vez. Sigue este orden, de lo que más afecta a lo que menos:

Prioridad	Qué revisar	Por qué importa
1	Errores 4xx y 5xx (enlaces rotos)	Usuarios y buscadores llegan a páginas que no existen.
2	Cadenas de redirecciones	Hacen más lenta la carga y debilitan la señal de cada URL.
3	Conflictos de indexación (noindex, canonical que apunta a otra URL)	Páginas importantes que Google puede no mostrar.
4	Titles y meta descriptions ausentes o duplicados	Cambian cómo apareces en los resultados y cuántos clics recibes.
5	H1 ausente o repetido	La estructura del contenido queda confusa.
6	Páginas huérfanas (sin enlaces internos)	Cuesta encontrarlas, tanto a usuarios como a buscadores.

Lo que pierdes frente a Screaming Frog

Un crawler propio te sirve para auditar tu web, pero no sustituye todo lo que pagas con la licencia. Según la ficha de Can I Vibe Code It, dejas de tener:

• Años de resolver casos raros de rastreo, renderizado de JavaScript, integraciones y rendimiento.
• Capacidad para analizar sitios muy grandes.
• Las puntuaciones propias de la herramienta.
• Monitorización continua.
• Informes listos para clientes y soporte.

Si prefieres no construir nada, la misma web recomienda alternativas gratuitas y de código abierto:

Herramienta	En qué destaca
SiteOne Crawler	Multiplataforma, renderiza JavaScript e incluye informes y exportaciones.
LibreCrawl	Sin límite de URLs y se usa desde el navegador; se instala con Docker.
SEOnaut	Ordena los problemas por gravedad y guarda el historial de auditorías.

Cuándo conviene construirlo y cuándo pagar

La pregunta no es si se puede programar, sino si te conviene mantenerlo.

Tu situación	Lo que haría
Web pequeña, de menos de 500 URLs	Prueba primero la versión gratuita de Screaming Frog: probablemente te alcanza.
Tu web o pocas webs propias, y quieres aprender	Construye tu crawler con el prompt.
Quieres auditar ya, sin programar	Usa una alternativa de código abierto.
Auditorías para clientes, sitios grandes o con mucho JavaScript	Paga la herramienta: el soporte y los casos raros valen la licencia.
Necesitas monitorización continua	Herramienta de pago.

Preguntas frecuentes

¿Necesito saber programar?

No hace falta escribir código, pero sí ejecutar comandos en una terminal y copiar los errores para que el agente los corrija. Si nunca abriste una terminal, empieza por una de las alternativas gratuitas.

¿Puedo analizar la web de mi competencia?

El prompt pide confirmar que la web es tuya o que tienes permiso antes de empezar, y respeta robots.txt. Úsalo en webs propias o de clientes que te lo autoricen.

¿Es gratis?

El crawler que construyes no tiene licencia. El agente de IA que lo construye puede tener coste, según el plan que uses.

En resumen

Construir tu propio crawler SEO con IA es viable y te enseña mucho sobre cómo se audita una web. Para tu web o proyectos pequeños, alcanza. Para clientes y sitios grandes, la licencia de Screaming Frog sigue valiendo lo que cuesta.