Cómo preparar diez casos de prueba para un asistente de IA antes de ampliarlo

Resumen

Diez pruebas no demuestran que un sistema sea seguro en cualquier situación. Sí pueden revelar fallos relevantes antes de ampliar un uso si se eligen con criterio. La clave es que representen tareas reales y límites conocidos, no preguntas escogidas para que el asistente quede bien.

Reparte los diez casos

Utiliza cuatro tareas habituales, dos entradas incompletas, dos situaciones límite, una petición fuera de alcance y una prueba de recuperación tras un error. Es una distribución orientativa, no un estándar normativo. Ajusta el conjunto si tu uso tiene consecuencias o condiciones distintas. Describe la finalidad de cada caso y qué comportamiento esperas.

Escribe el criterio antes de ver la salida

Indica qué hechos debe conservar, qué no debe inventar, cuándo debe reconocer incertidumbre y cuándo debe escalar. Si se conecta a herramientas, comprueba también qué acciones puede realizar. Una respuesta lingüísticamente correcta puede fallar por actuar sobre el registro equivocado o exceder las instrucciones permitidas.

Ejemplo con un asistente de soporte

Ejemplo ficticio: la consulta incluye un número de pedido inexistente. El resultado esperado es pedir información verificable o derivar según el flujo definido, no inventar una entrega. Otra prueba omite un dato necesario; otra solicita una operación no permitida. Conserva entrada, salida, configuración y observaciones para que el ensayo pueda repetirse.

Decide con límites explícitos

Agrupa fallos por consecuencia y frecuencia, asigna correcciones y repite los casos afectados. No borres del informe los intentos fallidos ni presentes diez aciertos como una garantía estadística. Documenta el alcance que se autoriza, las condiciones de revisión y los cambios que obligarán a volver a probar. Mantén el conjunto versionado para comparar futuras actualizaciones.

Recursos y alcance de esta guía

Recurso relacionado para continuar el trabajo: https://veritias.eu/blog/registro-cambios-proveedor-modelo-ia-plantilla .

Estas pautas son recomendaciones operativas originales, no requisitos normativos adicionales ni una certificación. Veritias ayuda a relacionar sistemas, responsables, tareas y evidencias versionadas para facilitar la revisión. Contenido elaborado con asistencia de IA.