Los rankings de visibilidad en IA no son estables: nueva investigación revela ruido estadístico
Un nuevo estudio demuestra que los rankings de visibilidad en IA varían significativamente entre ejecuciones y que gran parte de los cambios se deben a ruido estadístico. Te explicamos cómo saber cuándo un ranking es confiable y qué significa esto para tu estrategia de contenidos.
Un nuevo paper académico publicado recientemente pone en jaque una de las métricas que más se usan para medir el impacto en las respuestas generadas por inteligencia artificial: los rankings de visibilidad en IA. Según la investigación, estos rankings no son tan estables como se pensaba y gran parte de las variaciones que observamos entre mediciones son simplemente ruido estadístico.
El hallazgo es relevante para quienes usan herramientas como AI Overviews, Perplexity, ChatGPT Search o Claude para analizar dónde aparece su contenido. Un solo snapshot puede dar una impresión completamente equivocada de la realidad.
¿Por qué los rankings de visibilidad en IA cambian tanto?
Los investigadores analizaron múltiples ejecuciones de las mismas consultas en distintos modelos de IA y encontraron que los puestos de las fuentes cambian de forma significativa de una corrida a otra. Esto ocurre incluso cuando se mantiene idéntica la consulta y el modelo.
La explicación principal es el componente probabilístico inherente a los LLMs (Large Language Models). Cada generación de respuesta introduce variabilidad, lo que hace que un dominio que hoy aparece en primer lugar puede no aparecer en las próximas 10 ejecuciones.
Este fenómeno no es un bug de una herramienta específica, sino una característica del propio funcionamiento de la inteligencia artificial generativa.
La regla de parada que propone la investigación
Uno de los aportes más prácticos del paper es la propuesta de una regla de parada (stopping rule). En lugar de tomar una única medición o un promedio de tres corridas, los autores sugieren continuar ejecutando la misma consulta hasta que se cumplan ciertos criterios estadísticos de estabilidad.
Según los datos presentados, en muchos casos se necesitan entre 20 y 50 ejecuciones para que el ranking de visibilidad comience a estabilizarse y deje de ser mayoritariamente ruido.
Esto tiene implicancias directas para agencias y equipos de SEO que están generando reportes mensuales de "visibilidad en IA". Un ranking basado en una o dos ejecuciones puede estar llevando a decisiones completamente erradas.
¿Qué significa esto para tu estrategia de contenidos?
Si estás optimizando para AI Overviews o para ser citado en respuestas de ChatGPT, la recomendación más sana es dejar de confiar en mediciones puntuales. En cambio, considera:
- Tomar promedios sobre múltiples ejecuciones (mínimo 15-20 por consulta objetivo)
- Monitorear la desviación estándar entre corridas para entender la volatilidad real de cada consulta
- Dar más peso a señales de autoridad y E-E-A-T que a la posición exacta en un ranking inestable
- Usar los rankings de visibilidad como indicador de tendencias a largo plazo, nunca como diagnóstico preciso de performance
Google mismo ha reconocido en su documentación sobre Search Generative Experience que las respuestas generadas pueden variar, aunque el contenido fuente siga siendo el mismo.
El rol de la consistencia editorial
Más allá de los números, lo que sí parece predecir mejor la visibilidad sostenida en IA es la consistencia y profundidad del contenido. Fuentes que publican regularmente contenido original, bien estructurado y respaldado por datos tienden a aparecer con mayor frecuencia, aunque no siempre en el mismo orden.
Esto refuerza la idea que venimos sosteniendo desde hace meses: la optimización para IA no reemplaza al SEO tradicional, sino que lo complementa. Los fundamentos (autoridad, relevancia, experiencia) siguen siendo los que más peso tienen cuando el ruido estadístico se quita de la ecuación.
Recomendaciones prácticas para marketers argentinos
Si estás midiendo visibilidad en IA para un cliente local, considera estas acciones concretas:
- Implementa un sistema que ejecute la misma consulta al menos 15 veces antes de generar el reporte.
- Registra tanto la posición media como la frecuencia de aparición (cuántas veces aparece el dominio en las respuestas).
- Combina los datos de IA con métricas tradicionales de Search Console (impresiones orgánicas, CTR y posiciones en web search).
- Enfócate en crear contenido que responda preguntas complejas y de intención informacional elevada, que son las que más suelen derivar en respuestas generadas por IA.
La investigación viene a recordarnos algo que ya sabíamos pero que a veces olvidamos por la presión de entregar reportes: en SEO (y ahora también en AIO), la paciencia y el rigor metodológico terminan siendo las mejores herramientas.
¿Estás midiendo visibilidad en IA en tus proyectos? ¿Cuántas ejecuciones usás por consulta antes de considerar confiable el dato? Contanos en los comentarios.
