Cómo elegir proveedor de agentes de IA: criterios que puedes verificar

Para elegir proveedor de agentes de IA, deja de puntuar la demo y empieza a puntuar lo que puedes verificar: cómo mide su trabajo, qué traza deja, qué permisos pide, si te llevas tu arquitectura operativa cuando te vas y si puede cambiar de modelo sin rehacer el sistema. La demo la aprueban todos; el trabajo real, no. Este artículo es la lista con la que yo evaluaría a un proveedor si estuviera en tu silla, con las preguntas para la RFP y las señales que me harían levantarme de la reunión.

Juzga por lo que puedes verificar, no por lo que enseña

Una demostración se prepara con casos elegidos, datos limpios y sin excepciones. Enseña que la tecnología puede funcionar, no que funcionará con tu operación. Por eso los criterios que sirven son los que dejan evidencia: algo que el proveedor pueda mostrarte hoy, o comprometer por contrato, y que tú puedas comprobar después. Todo lo demás es relato.

La segunda idea que ordena esta decisión: no compras un piloto, compras una relación que tiene que sobrevivir a cambios de modelo, cambios de tu proceso y cambios de tu equipo. La pregunta no es “¿esto funciona en la demo?”, sino “¿quién responde cuando deje de funcionar dentro de un año?”.

Los seis criterios que de verdad separan proveedores

Criterio	Qué pedir	Qué revela
Evaluaciones	Cómo mide la calidad del agente y con qué casos	Si hay ingeniería o solo confianza en el modelo
Trazabilidad	Registro de qué recibió, qué regla aplicó y qué hizo	Si podrás auditar decisiones o tendrás una caja negra
Permisos y controles	Qué puede leer, escribir y qué tiene prohibido	Si el riesgo está gobernado o abierto
Portabilidad	Qué te llevas al terminar y en qué formato	Si quedas atrapado o eres dueño de tu operación
Agnosticismo de modelo	Cómo cambia de modelo cuando otro es mejor	Si te atan a un laboratorio concreto
Salida limpia	Cómo es el día en que te vas	Si el contrato te protege o te retiene

Evaluaciones que puedas ver. Un proveedor serio mide cómo hace su trabajo el agente antes de darle trabajo real: casos de prueba con respuesta conocida, umbrales de calidad, revisión de fallos. Pide ver el método. Si la respuesta es “el modelo es muy bueno” o “lo supervisamos manualmente”, no hay evaluación, hay fe. Sin medición no hay forma seria de decir que algo funciona, y menos de detectar cuándo deja de hacerlo.

Trazabilidad de cada decisión. Cada acción del agente debería quedar registrada: qué entrada recibió, qué regla aplicó, qué hizo y por qué escaló. Sin traza no hay auditoría, y sin auditoría un comité no debería aprobar el despliegue. Es el mismo requisito que desarrollo en gobernanza de agentes: la traza no es un extra técnico, es la condición para poder responder ante un cliente, un regulador o tu propio consejo.

Permisos y controles explícitos. El agente trabaja dentro de tus sistemas, así que el proveedor debe poder decir con precisión qué puede leer, qué puede escribir y qué tiene prohibido tocar. Un agente con permisos amplios y sin límites es un incidente esperando su turno. Los permisos concretos, por sistema y por acción, son un criterio de compra, no un detalle de implementación.

Portabilidad de tu arquitectura operativa. Aquí se separa la propiedad. La plataforma, el código y el runtime son del proveedor y no te los vas a llevar. Pero las reglas, las excepciones, los controles, los contratos de datos, las especificaciones de integración y los criterios de evaluación describen tu operación, y eso debería ser tuyo. Pregunta qué exportas al terminar y en qué formato. Esa portabilidad no elimina el coste de reimplementar en otro sitio, pero reduce el de redescubrir tu propio proceso desde cero.

Agnosticismo de modelo. Los modelos de IA son ya una utility: se contratan por API y se sustituyen cuando otro es mejor, más barato o más rápido. Un proveedor que codifica tu proceso dentro de las primitivas de un laboratorio concreto te ata a ese laboratorio. Pregunta cómo selecciona el modelo por tarea y qué pasa el día que quiere cambiarlo. Un forward-deployed engineer que trabaja para el fabricante tiene el mandato de desplegar el stack que su empresa vende. El que trabaja para ti debería optimizar tu operación y conservar la capacidad de cambiar de modelo. Es un conflicto de incentivos y de arquitectura, no de buena o mala intención.

Salida limpia. El mejor momento para negociar cómo te vas es antes de entrar. Qué recibes, en qué plazo, con qué datos, resultados y trazas. Un proveedor seguro de su valor no necesita retenerte con la fricción de la salida. Te retiene con el resultado.

Preguntas para meter en la RFP

• ¿Cómo evaluáis la calidad de un agente antes y durante la producción? Enseñadme un ejemplo real de casos de prueba y umbrales.
• ¿Qué queda registrado de cada decisión y durante cuánto tiempo lo conservo?
• ¿Qué permisos concretos necesita el agente en cada sistema y cómo se revocan?
• Si termino el contrato, ¿qué me llevo exactamente y en qué formato?
• ¿Cómo elegís el modelo para cada tarea y qué implica cambiarlo dentro de seis meses?
• ¿Quién opera y mantiene el sistema cuando cambie mi proceso o el modelo?

Esa última pregunta es la que más separa. Comprar una plataforma te deja el mantenimiento a ti. Contratar la operación deja el resultado y su mantenimiento en el proveedor. Es una decisión de estructura antes que de proveedor, y la analizo en comprar o construir IA y en equipo interno, consultora o boutique.

Señales de alarma en una demo

Desconfía cuando la demo solo enseña el caso feliz y esquiva las excepciones, porque la operación real vive de las excepciones y es donde mueren los pilotos. Desconfía cuando no hay forma de ver la traza de una decisión, cuando “seguridad” se resuelve con una frase y no con permisos concretos, cuando la palabra “evaluación” no aparece, y cuando preguntas por la salida y la respuesta se vuelve vaga. Una concesión sobre lo que su sistema aún no hace bien vale más que una demo sin una sola costura.

Dónde encaja esto en tu decisión

Elegir proveedor es el último paso, no el primero. Antes va decidir si compras, construyes o contratas la operación, y con quién. El coste comparable de cada opción lo trato en cuánto cuesta implantar agentes de IA. El retorno que sostiene la inversión ante el comité pertenece al análisis de ROI de la IA en operaciones, y no lo repito aquí. Y si dudas de si tu casa está lista para recibir a cualquier proveedor, esa revisión previa está en preparar tu empresa para agentes. Para el marco completo del tema, el pilar es agentes de IA para empresas.

Preguntas frecuentes

¿Qué es lo más importante al elegir proveedor de agentes de IA?

Que puedas verificar sus criterios: evaluaciones que te enseñe, trazabilidad de cada decisión, permisos concretos por sistema, portabilidad de tu arquitectura operativa y una salida limpia por contrato. La demo demuestra que la tecnología puede funcionar. Estos criterios demuestran que funcionará con tu operación y que no quedas atrapado.

¿Cómo evito quedar atado a un solo proveedor o modelo?

Exige agnosticismo de modelo y portabilidad desde el contrato. El proveedor debe poder cambiar el modelo por tarea sin rehacer el sistema, y tú debes llevarte tus reglas, excepciones, integraciones y trazas al terminar. Eso no elimina el coste de reimplementar, pero evita empezar de cero.

¿Qué preguntas revelan más en una RFP de agentes?

Las que piden evidencia, no promesas: enséñame una evaluación real, muéstrame la traza de una decisión, dime los permisos exactos por sistema y describe el día que me voy. Un proveedor con criterio responde con ejemplos. Uno sin él responde con adjetivos.

¿Debo elegir proveedor antes de decidir la estructura?

No. Primero decide si compras una plataforma, construyes una capacidad interna o contratas la operación gestionada, porque eso determina quién mantiene el sistema. Elegir proveedor sin haber resuelto la estructura suele acabar comprando lo que mejor se demostró, no lo que mejor encaja.