AI Systems Performance Engineering

Trata exhaustivamente la ingeniería de rendimiento, la aceleración de hardware y la optimización de sistemas distribuidos para el entrenamiento y la inferencia a gran escala de modelos de inteligencia artificial y deep learning. Basado en el ecosistema técnico moderno (PyTorch 2.x, CUDA y microarquitecturas avanzadas de NVIDIA como Blackwell y Hopper), el texto está dirigido a ingenieros de rendimiento de IA, ingenieros de MLOps y desarrolladores de infraestructura de nivel intermedio a avanzado que ya cuentan con bases sólidas en programación en Python, conceptos de aprendizaje profundo y administración de entornos Linux y contenedores.

El libro enseña a optimizar cada una de las capas de la pila técnica: desde el silicio de superchips NVIDIA Grace y Blackwell (Tensor Cores, Transformer Engine, Streaming Multiprocessors y warps) y la configuración del sistema operativo y Kubernetes (aislamiento de memoria, NUMA, afinidad de CPU y orquestación con topología consciente), hasta la intercomunicación distribuida con NCCL, NVLink y NVSwitch. En el plano del software, profundiza en la aceleración mediante el compilador de PyTorch (torch.compile), el desarrollo de kernels personalizados con OpenAI Triton, backends con PyTorch XLA y herramientas de perfilado como NVIDIA Nsight Systems, Nsight Compute, NVTX y Holistic Trace Analysis (HTA). En inferencia a escala masiva, cubre la desagregación de fases de prefill y decode, gestión avanzada de KV cache, decodificación especulativa, enrutamiento en Mixture of Experts (MoE) y arquitecturas como DeepSeek (FlashMLA y Fire-Flyer).

A través de laboratorios técnicos y una lista de verificación con más de 175 optimizaciones listas para producción, se implementan kernels acelerados y se perfilan clústeres distribuidos para erradicar cuellos de botella de cómputo y transferencia de memoria. Destaca por su rigor y profundidad técnica sin concesiones en el hardware y el compilador, yendo mucho más allá del simple consumo de APIs de alto nivel. Quedan fuera la introducción teórica a la inteligencia artificial o el ajuste fino conceptual de hiperparámetros. Es fundamental tener experiencia previa en desarrollo con PyTorch y programación paralela para asimilar plenamente su contenido.