Por qué importa la evaluación

A diferencia del software tradicional, las aplicaciones LLM tienen salidas no deterministas. No puedes simplemente escribir pruebas unitarias — necesitas una evaluación sistemática.

Métricas clave

  • Precisión: ¿Coincide la salida con la respuesta esperada?
  • Relevancia: ¿La respuesta es relevante y útil?
  • Fidelidad: ¿La respuesta se ciñe al contexto proporcionado?
  • Toxicidad: ¿Contiene contenido dañino el resultado?
  • Latencia: ¿Cuánto tarda la generación?
  • Coste: ¿Cuál es el coste por solicitud?

Enfoques de evaluación

  • Evaluación humana: Estándar de oro pero lenta y cara.
  • LLM-como-juez: Utiliza un modelo fuerte (por ejemplo, GPT-6 Astra o Claude Sonnet 5.5) para calificar las salidas.
  • Métricas automatizadas: BLEU, ROUGE para resumen; pass@k para el código.
  • Pruebas A/B: Comparar dos versiones con usuarios reales.

Herramientas

  • RAGAS: Evalúa los pipelines RAG (fidelidad, relevancia, exhaustividad).
  • DeepEval: Marco de evaluación de LLM de código abierto con 14+ métricas.
  • LangSmith: Plataforma de rastreo y evaluación de LangChain.
  • Braintrust: Evaluación y observabilidad para productos de IA.

Mejores prácticas

  • Construir un conjunto de datos de evaluación de 100-500 ejemplos que cubran casos límite.
  • Realizar evaluaciones en cada cambio de prompt.
  • Rastrear métricas a lo largo del tiempo en un panel de control.
  • Establecer puertas de calidad: bloquea el despliegue si las puntuaciones caen por debajo del umbral.

Construir un conjunto de datos de evaluación

La base de cualquier evaluación de LLM es un conjunto de pruebas de alta calidad. Apunta a entre 100 y 500 ejemplos que cubran tus casos de uso principales, los casos límite y los modos de fallo. Incluye tanto casos «fáciles» (que siempre deberían pasar) como casos «difíciles» (modos de fallo conocidos). Etiqueta cada ejemplo con la salida esperada o, como mínimo, con el comportamiento esperado.

Métricas clave por tipo de tarea

  • Preguntas y respuestas / RAG: coincidencia exacta, puntuación F1 y LLM como juez (usa un modelo de frontera actual para puntuar las respuestas de 1 a 5 en relevancia, exactitud y exhaustividad).
  • Resumen: ROUGE-L para el solapamiento, más LLM como juez para la coherencia y la fidelidad (¿contiene el resumen información que no está en la fuente?).
  • Clasificación: precisión, exhaustividad y F1 por clase. Registra también la matriz de confusión para encontrar clasificaciones erróneas sistemáticas.
  • Generación de código: Pass@k (¿pasa el código las pruebas unitarias?), más revisión humana del estilo y el mantenimiento.

Automatización y pruebas de regresión

Trata la evaluación de LLM como pruebas unitarias. Ejecuta tu suite de evaluación en cada cambio de prompt, actualización de modelo o ajuste de configuración. Herramientas como LangSmith, Braintrust o scripts propios con pytest pueden automatizarlo. Establece una puerta de calidad: si cualquier métrica cae más del 5 % respecto a la línea base, bloquea el cambio e investiga.

Empieza con veinte ejemplos, no con dos mil

El error de evaluación más común es esperar a un gran conjunto de datos etiquetado. Veinte ejemplos que realmente has leído, cada uno con la respuesta que aceptarías, cambiarán tus decisiones más que dos mil extraídos que no has leído. Empieza ahí, entrega contra ello y hazlo crecer solo cuando un fallo concreto que te importa no esté representado en el conjunto.

El conjunto debe reflejar la distribución del uso real, incluidos los casos aburridos. Un conjunto de veinte preguntas interesantes mide lo bien que manejas preguntas interesantes y no te dice nada sobre el noventa por ciento del tráfico que es rutinario.

Puntúa el componente, no la sensación

Las puntuaciones de extremo a extremo sobre salida abierta son ruidosas y difíciles de accionar. Descompón el pipeline: ¿se recuperó el contexto correcto, fue la respuesta fiel a ese contexto, fue válido el formato, fue aceptable la latencia? Cada una tiene una comprobación barata y cada una apunta a una corrección distinta. Un sistema que falla en fidelidad necesita un mejor prompt; uno que falla en recuperación necesita otro índice; uno que falla en formato necesita una restricción de esquema. Un solo número no puede distinguirlos.

Los modelos jueces necesitan su propia calibración

Usar un modelo como evaluador es razonable y a menudo necesario para prosa abierta, pero el juez debe calibrarse contra etiquetas humanas en una muestra que realmente hayas leído. Mide la concordancia, no solo las puntuaciones del juez. Fija la versión del juez y vuelve a comprobar la calibración cuando cambie, porque un juez actualizado en silencio puede mover todo tu panel.

Guarda los fallos

Almacena cada ejemplo fallido con la entrada que lo produjo. Con los meses, esa colección se convierte en el activo más valioso del proyecto, porque es el único artefacto que codifica en qué es realmente malo tu sistema.

Los nombres de modelos se verificaron el 2026-11-10 en la documentación oficial de OpenAI y Anthropic.