Cloudflare ha reestructurado sus controles de bots de IA en tres categorías distintas — Búsqueda, Agente y Entrenamiento — dándole a los editores la capacidad de bloquear o monetizar cada tipo de tráfico automatizado de forma independiente. El cambio suena administrativo, pero aborda un problema arquitectónico real: el régimen anterior trataba a todos los clientes HTTP no humanos como una sola clase de crawler, lo que hacía imposible el control de acceso granular. Con la infraestructura de comercio agéntico madurando —incluyendo el estándar de pago x402 en el que el propio Cloudflare ya está construyendo— la capacidad de distinguir un agente de IA que ejecuta una transacción pagada de un scraper de entrenamiento que recopila contenido gratis ya no es un lujo. Es la condición previa para cualquier sistema de pago por solicitud funcional en el edge.
Qué hace realmente la taxonomía de tres categorías
Bajo el modelo anterior, un editor podía permitir o bloquear bots de IA, pero los controles eran burdos. Un indexador de búsqueda, un agente de compras autónomo y un crawler de entrenamiento de modelos se veían más o menos igual desde la perspectiva del edge. La nueva taxonomía los divide por propósito. Los bots de Búsqueda recuperan contenido para mostrarlo en los resultados —un intercambio de valor familiar en el que los editores generalmente optan por participar. Los bots de Entrenamiento extraen datos para construir modelos comerciales, a menudo sin el consentimiento o compensación del editor. Los bots Agente representan algo más nuevo: un cliente programático que actúa en nombre de un humano o sistema, potencialmente dispuesto a pagar por el acceso. Al separar estos tres flujos, Cloudflare permite a un editor bloquear completamente los crawlers de entrenamiento mientras permite el paso a los agentes que presentan credenciales de pago. Ese nivel de granularidad no existía antes en una capa de control estandarizada del edge.
Por qué el tráfico de agentes es estructuralmente diferente
La distinción entre un agente y un crawler de entrenamiento no es semántica —refleja una relación económica fundamentalmente diferente. Un crawler de entrenamiento visita un sitio para extraer valor para un proveedor de modelos externo. No hay transacción, no hay intención del usuario y no hay acceso negociado. Un agente, por el contrario, normalmente actúa en nombre de un usuario o aplicación específica con un objetivo concreto: obtener un conjunto de datos, llamar a una API, comprar un recurso o completar una tarea. Eso implica una parte identificable con capacidad de pago. Si el edge no puede notar la diferencia, cualquier esquema de pago colapsa —no se le puede cobrar a un bot si no se puede clasificar de forma fiable como el tipo de bot que paga. La capa de categorización de Cloudflare resuelve este problema de identificación a nivel de infraestructura, en lugar de dejar que los editores individuales lo resuelvan improvisando con cadenas de user-agent o listas de IP permitidas.
Conexión con x402 y los pagos por llamada
La pasarela de monetización (Monetization Gateway) de Cloudflare, que aplica el estándar de desafío-respuesta HTTP 402 (x402) a los recursos del edge, depende exactamente de este tipo de clasificación de tráfico. Cuando un agente de IA solicita un recurso detrás de la pasarela, el edge devuelve un estado 402 con un desafío de pago —típicamente una transferencia de USDC en Base. El agente realiza el pago y el recurso se entrega. Pero esto solo funciona si el edge puede determinar primero que el cliente entrante es un agente en lugar de un scraper o indexador. Un crawler de entrenamiento que encuentre un endpoint 402 simplemente fallará; no tiene billetera ni intención de pagar. A un bot de búsqueda probablemente se le debería permitir el paso bajo términos diferentes. La taxonomía de tres categorías proporciona la lógica de enrutamiento que hace viable la pasarela de pago a escala, asegurando que el desafío solo se active para el tráfico que realmente puede responder a él.
Preguntas abiertas y limitaciones
La taxonomía es un paso necesario, pero la precisión de la clasificación sigue siendo un problema sin resolver. Los operadores de bots pueden falsificar cadenas de user-agent, rotar IPs o enrutar a través de proxies residenciales para disfrazar el tráfico de entrenamiento como tráfico de agentes. Las capacidades de huella digital (fingerprinting) de Cloudflare son sofisticadas, pero la carrera armamentista entre los crawlers y los proveedores de edge está bien establecida y no terminará con este lanzamiento. También está la cuestión de cómo se establece la identidad del agente. El estándar x402 asume que un agente puede presentar una credencial de pago, pero el vínculo entre esa credencial y una identidad verificada —quién es realmente responsable de las acciones del agente— sigue sin estar bien definido. Los editores pueden descubrir que cobrar a los agentes es técnicamente viable, pero comercialmente complicado si no se puede responsabilizar a la parte pagadora de lo que el agente hace con el recurso recuperado.
Fuentes
- https://www.techtimes.com/articles/319554/20260702/cloudflare-separates-ai-crawlers-purpose-opens-door-charging-them-directly.htm
- https://fastcompanyme.com/technology/visas-oliver-jenkyn-on-why-trust-will-decide-the-future-of-agentic-commerce/
- https://cryptobriefing.com/animoca-brands-blockchain-ai-agents/