Indexed Claude Chats muestran por qué Disallow no es Noindex

Un caso reciente publicado en Search Engine Journal volvió a poner en evidencia una confusión muy común en SEO técnico: creer que bloquear una URL con robots.txt es equivalente a ponerle un noindex.

Chats compartidos de Claude (el modelo de Anthropic) aparecieron indexados en Google. Al analizar las páginas, los especialistas encontraron que tenían un encabezado noindex, pero este estaba detrás de una directiva Disallow en robots.txt. Google nunca llegó a ver el noindex porque nunca pudo acceder a la página.

Esto es exactamente lo que explica el título del artículo: Disallow is not Noindex.

¿Qué pasó con los chats de Claude?

Los chats públicos de Claude generan URLs que cualquier persona puede compartir. Muchas de esas URLs terminaron rankeando en Google para consultas relacionadas con el contenido de la conversación. Cuando los dueños del sitio quisieron evitar que siguieran apareciendo, agregaron reglas de Disallow en robots.txt y un meta robots noindex (o X-Robots-Tag) en las páginas.

El problema es que Googlebot respetó el Disallow y nunca crawleó esas páginas. Por lo tanto, nunca vio la instrucción de noindex. Como resultado, las páginas siguieron apareciendo en el índice basadas en lo que Google ya había visto antes o a través de otras señales.

La diferencia clave entre Disallow y Noindex

• Disallow (robots.txt): le dice al crawler “no entres a esta página”. Evita el consumo de crawl budget y protege información sensible, pero no quita la página del índice si Google ya la conocía.
• Noindex (meta robots o X-Robots-Tag): le dice a Google “no muestres esta página en los resultados de búsqueda”. Para que funcione, Google tiene que poder leer el código de la página.

Si combinás ambas cosas sin pensar el orden, podés terminar con páginas indexadas que no querés mostrar.

Cómo solucionarlo correctamente

1. Si la página ya está indexada y querés que salga del índice, primero quitá el Disallow de robots.txt para que Googlebot pueda volver a crawlearla y ver el noindex.
2. Una vez que Search Console muestre que la página fue procesada y el noindex fue respetado, podés volver a bloquearla con robots.txt si querés evitar futuros crawls.
3. Para casos nuevos, la mejor práctica es usar noindex desde el primer momento (sin Disallow) o combinarlo con un 404/410 si realmente no querés que exista la página.

Qué podés revisar hoy en tu sitio

Andá a Google Search Console > Configuración > Robots.txt Tester y validá que no estés bloqueando páginas que después tienen noindex.

También es útil revisar el informe de Páginas indexadas y filtrar por “Indexadas, aunque el sitio las haya marcado como noindex”. Ese reporte suele mostrar exactamente este tipo de conflictos.

En el caso de los chats de Claude, el problema se agravó porque se trata de contenido generado por IA que se comparte públicamente. Muchos dueños de proyectos con IA están viviendo situaciones similares: URLs que se vuelven virales, se indexan rápido y después es complicado “borrarlas” del índice.

Lecciones aplicables para pymes y ecommerce

Si tenés un sitio de e-commerce con páginas de filtros, sesiones de usuario o contenido generado dinámicamente, revisá que no estés usando robots.txt como si fuera una solución mágica de “no quiero que aparezca”.

Lo mismo aplica a landing pages temporales, thank you pages o secciones de members-only que terminan filtrándose al índice por error.

El caso de Claude sirve como recordatorio práctico: Google solo puede obedecer las instrucciones que alcanza a leer. Bloquear el acceso al contenido es lo mismo que esconder la instrucción.

Resumen rápido para actuar esta semana:

• Revisá tu robots.txt y cruzalo con las páginas que tienen noindex.
• Si encontrás conflictos, priorizá quitar temporalmente el Disallow.
• Monitoreá en Search Console el estado de indexación de esas URLs en los próximos 7-15 días.

El SEO técnico sigue siendo tan sencillo y tan complicado como siempre: las directivas tienen que ser coherentes y Google tiene que poder leerlas.