Practical LLM Evaluation for Production Systems
Ammar Mohanna, Indrajit Kar, Zonunfeli Ralte
- Editorial
- Packt
- Año
- 2026
- Páginas
- ~590
- Nivel
- Intermedio
De qué trata
Tratado técnico exhaustivo dedicado a la evaluación continua, sistemática y de nivel de producción de Modelos de Lenguaje Masivos (LLMs), Modelos de Lenguaje Pequeños (SLMs) y sistemas multimodales. La obra aborda de raíz la estocasticidad y la naturaleza abierta de la IA generativa, reemplazando las tablas de clasificación estáticas y académicas por un marco de ingeniería operativo a lo largo de todo el ciclo de vida del software. Está orientada a ingenieros de machine learning, ingenieros de confiabilidad (MLOps/SRE), científicos de datos y arquitectos de software con experiencia intermedia-avanzada en Python y aplicaciones con LLMs.
El libro formaliza el marco de cuatro ejes operativos (Calidad, Seguridad, Costo y Confiabilidad - Q/S/C/R) y analiza técnicas críticas tanto en tiempo de entrenamiento (validación de datos, detección de fuga o contaminación de benchmarks, alineamiento con SFT, DPO y RLHF) como en tiempo de inferencia (gobernanza de prompts, contratos de salida estructurados, mitigación de alucinaciones y guardrails mediante SLMs dedicados). Detalla la evaluación de sistemas RAG (precisión de recuperación, atenuación de alucinaciones y fidelidad contextual), modelos visión-lenguaje (VLMs), enrutamiento en arquitecturas Mixture-of-Experts (MoE), modelos de razonamiento, agentes que interactúan con computadoras y generación estructurada (Text2SQL y Text2Cypher). Para ello, utiliza herramientas como Ragas, DeepEval, TruLens, Arize Phoenix, LangSmith, PyTest y Pydantic.
En la práctica, se implementan conjuntos de pruebas por cortes (slice-based testing), pipelines evaluadores automatizados para arquitecturas RAG, compuertas de calidad (quality gates) para integración continua (CI/CD) antes de despliegues y monitores de regresión con alertas operativas en producción. El texto aporta un enfoque indispensable de ingeniería de sistemas que transforma la evaluación en un proceso determinista y cuantificable. Requiere conocimientos sólidos previos de arquitectura de software, estadística y flujos de NLP, ya que no cubre conceptos elementales de programación ni entrenamiento básico de redes neuronales.
- Evaluación de LLMs
- RAG Evaluation
- Ragas
- DeepEval
- MLOps
- Detección de alucinaciones
- Guardrails con SLMs
- Vision-Language Models (VLMs)
- Mixture of Experts (MoE)
- AI Safety
- CI/CD para LLMs
¿Cómo enseña?
Teoría + práctica
- ✗ Sin ejercicios
- ✓ Incluye proyectos
Proyectos
Pipeline de evaluación continua para arquitecturas RAG
Suite de pruebas automatizadas con Ragas y PyTest que mide relevancia de contexto, fidelidad de respuesta y reducción de alucinaciones como compuerta de validación en CI/CD.
Sistema de guardrails y contratos de salida con SLMs
Mecanismo de validación en tiempo de inferencia que emplea modelos pequeños (SLMs) y esquemas Pydantic para garantizar que las respuestas de agentes cumplan formatos estructurados y políticas de seguridad.
Suite de evaluación de enrutamiento y estabilidad para modelos MoE
Entorno de pruebas para medir la latencia, costo operativo y consistencia en la selección de expertos dentro de arquitecturas Mixture-of-Experts bajo cargas concurrentes.
