AI Evals in Practice

Manual técnico y especializado escrito por Caio Incau que aborda la disciplina más crítica y desatendida en la ingeniería de modelos de lenguaje: el paso de las evaluaciones subjetivas basadas en sensaciones ("vibes-based") a sistemas de pruebas sistemáticos, reproducibles y orientados a datos en entornos de producción. Publicado por Packt en 2026, el libro utiliza versiones modernas de Python y los SDK oficiales de OpenAI y Anthropic. Está dirigido a ingenieros de IA, desarrolladores de software y líderes técnicos de nivel intermedio que ya construyen o despliegan aplicaciones con LLMs (como canalizaciones RAG o agentes autónomos) y necesitan garantizar que los cambios en prompts, modelos o arquitecturas no degraden la calidad ni introduzcan regresiones silenciosas.

El contenido enseña a diseñar y construir arneses de evaluación completos y desacoplados de frameworks propietarios. Cubre en detalle la creación de conjuntos de datos dorados (golden datasets), evaluadores deterministas basados en código (coincidencias léxicas, expresiones regulares y pruebas unitarias) e implementación avanzada del patrón LLM-as-a-judge, profundizando en la calibración estadística de evaluadores y la mitigación de sesgos como la verbosidad y la posición. También explica métricas cuantitativas para arquitecturas RAG (fidelidad sintética, relevancia del contexto recuperado y precisión semántica), evaluación de agentes conversacionales y de tareas (análisis de trayectorias, multiturno y llamadas a herramientas/tool calling), flujos de anotación humana (human-in-the-loop), observabilidad y monitorización online continua en producción con guardrails de seguridad. Además, compara y analiza las herramientas del ecosistema actual como DeepEval, promptfoo, Langfuse y Braintrust.

A lo largo de sus capítulos se construye de forma guiada una herramienta modular en Python llamada "evalkit", la cual se conecta a flujos de integración continua (CI en GitHub Actions) para detectar regresiones de prompts antes del despliegue y cuenta con un panel de control para visualizar métricas, además de resolver un caso de estudio real en el que se diagnostica y estabiliza un agente errático hasta llevarlo al 99% de fiabilidad operativa. Su principal valor reside en dotar a los equipos de desarrollo de una metodología rigurosa de control de calidad para sistemas no deterministas. Deja deliberadamente fuera el entrenamiento y fine-tuning de modelos fundacionales, enfocándose exclusivamente en la validación, el benchmarking y la observabilidad. Conviene tener buen manejo de Python y nociones claras sobre el consumo de APIs de modelos generativos.