Es el fin de internet tal como lo conocemos.

Y a diferencia de la era de Google, estos bots generalmente no enlazan con su material de origen. En su lugar, los modelos de IA resumen y proporcionan respuestas dentro de sus propias interfaces, manteniendo a los usuarios encerrados y excluyendo a los sitios web y creadores de contenido.

Linda Tong, CEO de Webflow, una empresa de diseño y alojamiento web, lo llamó uno de los cambios más profundos que ha visto en sus 20 años dirigiendo negocios en Internet. “Está cambiando fundamentalmente cómo la gente encuentra e interactúa con las marcas”, dijo. “Y para algunas empresas, es una amenaza existencial.”

Lo cual va al corazón del problema. Aunque gran parte de la conversación pública se ha centrado en los temores de que la IA reemplazará a los trabajadores humanos, una amenaza más inmediata no está atrayendo tanta atención, incluso mientras está trastornando la economía subyacente de Internet.

El fin de la era de búsqueda

Los bots han estado rastreando la web desde principios de la década de 1990, primero para mapearla, luego para indexarla, y eventualmente para alimentar el surgimiento de la búsqueda. Las primeras arañas como Explorador de la Web Mundial Mundial sentó las bases para una era en la que la visibilidad significaba viabilidad. Para cuando el propio rastreador de Google — Backrub, luego Googlebot — se puso en línea en 1996, había surgido una nueva lógica: Permitir que los motores de búsqueda escaneen su contenido, y a cambio, le enviarán tráfico.

Durante la mayor parte de los siguientes 30 años, esa lógica definió la web abierta. La visibilidad en los resultados de Google lo era todo. Desde blogs de nicho hasta los mayores conglomerados de medios del planeta, los sitios web vivían o morían por su clasificación de búsqueda. Industrias enteras, por no mencionar las prácticas de consultoría, surgieron en torno a la optimización para motores de búsqueda (SEO), la arquitectura de la información y la estrategia de contenidos, todo para ayudar a las empresas a jugar mejor el juego.

Pero la IA no juega con las reglas antiguas.

En lugar de vincularse al material original, los LLM como ChatGPT de OpenAI, Claude de Anthropic e incluso Gemini de Google leen y reutilizar — respondiendo directamente a las consultas de los usuarios, en su mayoría sin atribución alguna.

Olvídate del SEO. Ahora es AEO

Este cambio está dando lugar a un nuevo acrónimo, AEO (que significa optimización de motor de inteligencia artificial), además de estrategias completas para hacer que el contenido sea más visible para la IA y más efectivo una vez absorbido dentro de ella, incluso si las respuestas de la IA nunca conducen a clics. Si el SEO dio forma a la era de la búsqueda, es probable que el AEO defina la era de la IA generativa.

Los bots de IA, dijo Tong, están "sintetizando lo que pueden acceder y rastrear, y presentándolo en un formato que elimina la propuesta de valor del sitio". Sin clics. Sin crédito. Solo respuestas.

Tong dijo que Webflow ha visto un aumento del tráfico de rastreadores de IA de más del 125% en solo seis meses. En todo el ecosistema más amplio de Internet, más del 50% de todo el tráfico en Internet ahora proviene de bots. Y a medida que el tráfico de bots se dispara, dijo Tong, algunas empresas están empezando a trazar una línea, literalmente. Están construyendo dos versiones de sus sitios web. Una está diseñada para humanos, con visuales, interacción y narración de marca. Y la otra está simplificada, optimizada para la legibilidad de las máquinas y diseñada para alimentar a la bestia de la IA sin regalar (por así decirlo) las joyas de la corona.

“Para un humano, tu sitio debería ser rico, interactivo, encantador”, dijo Tong. “¿Para un bot? Quieres una estructura clara, fácil de rastrear, pero tal vez no todo tu contenido”. Algunos editores ahora solo exponen un resumen o extracto a los rastreadores, esperando atraer el índice sin canibalizar su modelo de monetización.

El resultado es un internet que se divide silenciosamente: una versión diseñada para deleitar a los usuarios humanos y otra diseñada para alimentar a los rastreadores solo con contenido específico con el objetivo de proteger el valor que aún merece un clic.

Dónde hay ventajas en ser despojado

Para algunas empresas, incluido el propio Webflow, ser despojado por la IA puede ser realmente un buen negocio.

Si un usuario le pide a ChatGPT la mejor plataforma para crear sitios web, y se recomienda Webflow, eso es una exposición valiosa, especialmente porque, como señaló Tong, los usuarios que llegan a través de la IA tienden a estar mejor educados y ser más "con intenciones claras", o listos para convertirse en clientes, que aquellos de la búsqueda.

“Ya han hecho su investigación”, dijo ella. “Cuando aterrizan en tu sitio, se están registrando o comprando.”

Pero esa lógica colapsa para las empresas que dependen tanto del volumen como de lectores, especialmente medios de comunicación, creadores y cualquiera cuyo modelo dependa del tráfico web tradicional. Si un chatbot resume un artículo de noticias o extrae hechos centrales de una guía o reseña, ese usuario puede que nunca haga clic. Y ningún clic significa ninguna impresión de anuncio, ni registros de correo electrónico, ni datos de audiencia, ni ingresos, ni valor realizado de ningún tipo.

Adam Singolda, el CEO de Taboola, una plataforma de tecnología publicitaria conocida por impulsar enlaces “recomendados para ti” en grandes editores, lo dijo sin rodeos: “Ya hemos visto esta película antes. Los editores dieron su contenido a Facebook $META para Instant Articles, y ¿qué ocurrió? Sin tráfico. Sin dinero.” El desequilibrio era tal que todo el modelo se rompió, dijo.

Es cierto. Facebook lanzó Instant Articles en 2015 con la promesa de tiempos de carga rápidos y una experiencia móvil sin interrupciones. Los editores se inscribieron, con la esperanza de llegar a audiencias masivas dentro de la aplicación de Facebook. Pero aunque Instant Articles cumplía su promesa de feed, no cumplía con proporcionar ingresos significativos. Los lectores permanecían dentro de los muros de Facebook, evitando los sitios propios de los editores, y con ellos, los anuncios, registros de correo electrónico y herramientas de seguimiento que alimentaban sus modelos de negocio.

En unos pocos años, muchas empresas de medios habían abandonado el formato, citando rendimientos decepcionantes y falta de control. En 2023, Facebook cerró silenciosamente el programa.

Singolda cree que herramientas como Perplexity y ChatGPT están repitiendo ese error a mayor escala, pero con incluso menos beneficios para los editores. Los efectos ya son visibles, dijo. Muchos editores informan que el tráfico de búsqueda ha disminuido entre un 20% y un 30% en el último año, justo cuando las herramientas de IA alcanzaron una adopción masiva, con ChatGPT proclamando 400 millones de usuarios activos semanales.

“Eso es solo de la primera ola”, dijo Singolda. “¿Qué pasará cuando llegue la próxima?”

Paga, bloquea o serás raspado

Frente a esta desconexión lenta del contenido del tráfico, los editores y plataformas están respondiendo. Algunos han firmado acuerdos de licencia: Reddit $RDDT, The New York Times y Vox Media entre ellos, permitiendo que ciertas empresas de inteligencia artificial accedan a su contenido a cambio de elevadas tarifas. Pero esos acuerdos son la excepción, no la regla.

“No hay suficiente dinero en el mundo para pagar a todos los editores cuyo contenido está siendo capturado”, dice Singolda. “No puedes ofrecer 100 millones de dólares a mil medios.”

Tong ve un futuro diferente: uno donde los editores controlan quién puede acceder a su contenido y qué pueden ver. A través de la asociación de Webflow con Cloudflare, las empresas ahora pueden distinguir entre buenos bots, malos bots y LLMs. Pueden optar por compartir contenido parcial, resúmenes o nada en absoluto.

Pero la aplicación sigue siendo algo complicada. No todos los bots respetan el archivo robots.txt, el término para la política de rastreo de un sitio, que está escrito en texto plano para que los bots lo lean. Algunas empresas — Perplexity ha sido acusado públicamente — usan servidores proxy para capturar contenido incluso después de ser bloqueados. Lo que significa que incluso a medida que se levantan las paredes, la captura de contenido continúa.

Mientras tanto, hay mucho más en juego que solo el tráfico. En un mundo donde los bots responden primero, la diferencia entre ser acreditado y ser canibalizado podría hacer o deshacer industrias enteras.

Ya se están creando algunas páginas generadas por IA no para que las lean las personas, sino para que las capturen otras IAs. Es un ciclo cerrado de contenido hecho por máquinas, para máquinas.

Para contrarrestar eso, empresas como Taboola están apostando por nuevos modelos, incluido Deeper Dive, una experiencia de IA incorporada en los propios sitios web de los editores. En lugar de perder usuarios ante bots externos, permite a las audiencias hacer preguntas y obtener respuestas basadas en los informes existentes de una publicación. “Obtienes la interacción con IA”, dijo Singholda, “pero el editor mantiene la relación, el tráfico, la confianza.”

Esa confianza puede convertirse en la moneda más valiosa de todas. En un mundo de respuestas sin fricciones, la gente aún quiere algo real, argumentó.

“Somos humanos”, dijo Singolda. “Cuando importa, como tu dinero, tu salud, o tu hijo, aún queremos saber quién está hablando.”