Lo dicho frente a lo hecho: la respuesta de tu agente de IA no es una prueba
Un agente puede ser amable, seguro de sí mismo y estar completamente equivocado sobre lo que hizo. Por eso COLVO lee la cuenta por sí mismo después de cada acción.
La respuesta que parecía correcta
Un cliente escribe: “Por favor, desactiva la renovación, pero déjame el acceso hasta que se termine.” El agente responde que ya está hecho y que el acceso sigue hasta el 30 de octubre. Todos los jueces LLM que probamos puntuaron esa respuesta como correcta.
La respuesta era correcta. La acción no. La suscripción se había cancelado de inmediato.
Esperado frente a observado
COLVO no le pregunta al agente qué pasó. Lee Stripe —con su propia clave restringida— y compara campo por campo:
| Campo | Esperado | Observado |
|---|---|---|
| cancel_at_period_end | true | false |
| status | active | canceled |
| access_enabled | true | false |
Cuatro formas en que las respuestas se alejan de la realidad
- El parámetro equivocado. “Conservar el acceso” se tradujo en una cancelación inmediata en lugar de una al final del periodo.
- Un error silenciado. La llamada a la herramienta falló; el agente informó de éxito igualmente.
- Un rechazo presentado como hecho. Guard dijo DENY, el agente dijo “reembolsado”.
- Una segunda acción que nadie pidió. Un reintento que propuso el mismo reembolso dos veces.
Nada de esto se ve en la transcripción. Todo se ve en la cuenta.
Qué hacer
Prueba el estado, no la transcripción. Deja que los controles deterministas decidan el veredicto y mantén a los jueces de IA como consultivos: un juez puede señalar una respuesta grosera, pero nunca debe convertir un FAIL en un PASS. Y en producción, pon una barrera entre el agente y el dinero, para que una acción equivocada se detenga antes de ocurrir en lugar de explicarse después.
