Una empresa debería poder cambiar de marco agéntico sin reconstruir todo su sistema de calidad.
La evaluación de agentes ha sufrido un problema incómodo de acoplamiento. Un equipo elige SDK u orquestador y después adopta tracing y evaluación que entienden ese modelo de eventos. Seis meses más tarde otro equipo utiliza una arquitectura distinta y la evidencia de calidad se fragmenta.
El anuncio de AWS AgentCore Evaluations de agosto de 2026 es interesante menos por el servicio en sí que por su propuesta de interoperabilidad: si el agente emite telemetría OpenTelemetry, puede evaluarse aunque esté construido con marcos distintos como LangGraph, LlamaIndex, OpenAI Agents SDK, Google ADK, Claude Agent SDK o Strands.
Eso apunta a un principio corporativo útil:
hacer de la traza el contrato, no del marco.
La evaluación necesita la trayectoria completa
No se puede evaluar bien un agente solo por el texto final.
Una respuesta convincente puede haber:
- usado la fuente equivocada;
- invocado una herramienta no autorizada;
- gastado diez veces el presupuesto esperado;
- reintentado una acción peligrosa;
- ignorado una aprobación;
- seguido un camino que tuvo éxito por casualidad.
A la inversa, una tarea fallida puede reflejar un sistema bien controlado que escaló porque faltaba evidencia.
La evaluación necesita la trayectoria:
objetivo → contexto → eventos → tool calls → observaciones → decisiones → acción → verificación
No es necesario exponer cadenas de pensamiento privadas. Eventos operativos, inputs, resultados, decisiones de política y tiempos permiten evaluar gran parte del comportamiento.
Una telemetría común reduce el coste de cambio
Con convenciones semánticas comunes, las trazas pueden alimentar:
- monitorización operativa;
- analítica de seguridad;
- FinOps;
- flujos de evaluación;
- regresión;
- revisión de incidentes;
- almacenes de evidencia de cumplimiento.
El marco puede cambiar mientras los controles downstream permanecen.
Es la misma ventaja que ya obtuvo el software al separar instrumentación de aplicación y proveedor de observabilidad.
La parte difícil es la consistencia semántica
OpenTelemetry da transporte, no una definición universal de “buen agente”.
Siguen haciendo falta convenciones para:
- identidad de agente y flujo de trabajo;
- resultado de tarea;
- nombre de herramienta y capacidad de negocio;
- decisión de política;
- aprobación humana;
- destino de modelo;
- fuente de evidencia;
- coste;
- latencia;
- retry;
- clase de error;
- resultado aceptado/rechazado.
Sin semántica consistente, las trazas pueden ser técnicamente interoperables y analíticamente inútiles.
El equipo de plataforma debería definir un perfil interno de telemetría agéntica.
Evaluar en tres escalas temporales
Antes de release
Golden tasks, casos adversariales, tests de políticas y regresión.
Producción continua
Scoring muestreado, drift, latencia, coste, fallos de herramientas y señales de seguridad.
Tras incidentes
Replay profundo de trayectorias cuando existe un mal resultado o near miss.
Las tres deberían compartir IDs fundamentales para poder conectar la evidencia.
Separar evaluación de “model judge”
LLM-as-judge es útil, pero insuficiente.
La calidad agéntica incluye checks deterministas:
- ¿se ejecutó la herramienta correcta?
- ¿existía aprobación?
- ¿la escritura coincide con el importe aprobado?
- ¿la fuente era reciente?
- ¿el agente respetó presupuesto?
- ¿la transacción hizo commit?
- ¿el caso se reabrió después?
La evaluación más fuerte combina scoring de modelo con hechos de sistema y resultados posteriores de negocio.
La portabilidad es estratégica
Marcos y modelos seguirán cambiando rápidamente. La evaluación corporativa necesita una base más lenta.
Si una organización conserva:
- corpus de tareas;
- controles esperados;
- semántica de trazas;
- umbrales de aceptación;
- benchmarks históricos;
puede comparar nuevas arquitecturas contra la misma definición de éxito.
Así experimentar con modelos se convierte en ingeniería gobernada.
La visión de Lexdatum
OpenTelemetry tiene una vía plausible para convertirse en el transporte neutral de evidencia agéntica.
El estándar no resolverá la evaluación por sí solo. Pero puede ofrecer algo valioso: un contrato estable entre runtimes que cambian muy rápido y sistemas de control que deciden si esos agentes son suficientemente fiables para operar.
Posee tus criterios de evaluación. Estandariza la traza. Deja competir a los marcos por debajo.
Sources
Nota de investigación: este análisis se basa en información pública disponible el 1 de septiembre de 2026. Las capacidades de producto, precios e interpretaciones regulatorias pueden cambiar. Las afirmaciones de proveedores se identifican como tales. No constituye asesoramiento jurídico, de seguridad, financiero ni de inversión.