Engineering Online Experimentation and ML Evaluations
Ming Lei
- Editorial
- Apress
- Año
- 2026
- Páginas
- ~524
- Nivel
- Intermedio
De qué trata
Tratado técnico y de arquitectura integral que cubre el diseño, la infraestructura de datos y los fundamentos estadísticos necesarios para construir plataformas de experimentación en línea (A/B testing) y evaluar sistemas de machine learning en producción a gran escala. Apoyado en Python moderno y patrones de sistemas distribuidos, está dirigido a ingenieros de machine learning, ingenieros de datos y arquitectos de plataformas que poseen conocimientos previos en estadística inferencial y despliegue de software, y necesitan medir el impacto causal de cambios en productos digitales y modelos predictivos en tiempo real.
La obra se estructura en cuatro partes fundamentales: 1) fundamentos estadísticos de credibilidad (pruebas de hipótesis, potencia estadística, cálculo de tamaño muestral, y mitigación de peeking, pruebas múltiples y efectos de novedad); 2) ingeniería de plataformas de experimentación (mecanismos de partición y asignación de tráfico, exclusión mutua, registro de eventos, pipelines ETL/ELT, construcción de motores de computación estadística con SciPy y statsmodels, detección de Sample Ratio Mismatch [SRM] e integración con feature flags); 3) diseños avanzados de experimentación (pruebas secuenciales con alpha spending, intervalos bootstrap para ratios y cuantiles, interleaving en sistemas de ranking/búsqueda, experimentos geo/switchback y algoritmos de multi-armed bandits); y 4) evaluación de machine learning (evaluaciones offline vs. online, shadow deployments, despliegues canario, optimización bayesiana y aprendizaje contrafactual mediante Inverse Propensity Scoring [IPS]).
El libro combina demostraciones teóricas con implementaciones arquitectónicas y algoritmos en Python para ensamblar los componentes de un motor de experimentación y evaluación continua. Su principal aportación es tender un puente sólido entre la estadística causal rigurosa y las restricciones de ingeniería de baja latencia y alta concurrencia en producción, ayudando a detectar anomalías y retroalimentaciones viciadas. No contiene cuestionarios de ejercicios académicos al final de los capítulos, orientándose a servir como plano de construcción y libro de referencia para equipos de infraestructura y ML que operan a escala empresarial.
- A/B Testing
- Experimentación en línea
- Evaluación de ML
- Sample Ratio Mismatch (SRM)
- Python
- SciPy
- statsmodels
- Multi-armed Bandits
- Feature flags
- Inferencia contrafactual (IPS)
- Canary deployments
- Arquitectura de datos
¿Cómo enseña?
Teoría + práctica
- ✗ Sin ejercicios
- ✓ Incluye proyectos
Proyectos
Motor estadístico de experimentación y detección de SRM
Construcción en Python con SciPy y statsmodels de un servicio para calcular pruebas de hipótesis, intervalos de confianza bootstrap y detección automática de Sample Ratio Mismatch en telemetría de A/B testing.
Pipeline de evaluación y despliegue continuo de modelos ML
Infraestructura que coordina feature flags, despliegues canario y evaluación contrafactual en línea con Inverse Propensity Scoring para medir el impacto causal de modelos predictivos en producción.
