Hands-On LLM Serving and Optimization

Tratado exhaustivo de ingeniería de software e infraestructura centrado en la fase de inferencia y optimización de modelos de lenguaje grande (LLMs) a escala masiva, escrito por ingenieros sénior de Salesforce y NVIDIA. Está enfocado en ingenieros de machine learning, ingenieros de plataformas de IA y arquitectos de backend de nivel intermedio a avanzado que dominan Python, Linux y los conceptos básicos de redes neuronales, y que enfrentan los cuellos de botella de latencia, saturación de memoria en GPU y altos costes operativos que surgen al servir LLMs en producción con alta concurrencia.

El temario disecciona el funcionamiento de los transformers autorregresivos dividiendo la inferencia en sus fases prefill (compute-bound) y decode (memory-bound), y analiza en detalle la gestión del KV Cache (PageAttention, KV offloading, prefix caching). Enseña a desplegar y comparar motores de inferencia de alto rendimiento como vLLM, TensorRT-LLM, SGLang, llama.cpp y NVIDIA Triton Inference Server, contrastándolos con pipelines lentos tradicionales. Cubre técnicas críticas de optimización como batching continuo (continuous batching), cuantización en baja precisión (AWQ, GPTQ, FP8), fusión de kernels GPU, decodificación especulativa (speculative decoding), desagregación prefill-decode (PD disaggregation), paralelismo tensorial/pipeline en multi-GPU y el servicio dinámico de múltiples adaptadores LoRA (Multi-LoRA serving).

Con el respaldo de su repositorio oficial de código en GitHub, el lector construye desde cero un servidor HTTP de inferencia con soporte de streaming y agrupación por lotes, y optimiza de extremo a extremo modelos abiertos populares (como la familia Qwen), configurando cuantización y evaluando throughput y Time to First Token (TTFT). Su gran valor reside en abordar con precisión quirúrgica el hardware de aceleración gráfica y el diseño de sistemas distribuidos, un ámbito escasamente tratado en manuales convencionales de IA. Deja fuera el preentrenamiento de modelos o la ingeniería de prompts, ya que se centra al 100 % en la eficiencia computacional y la infraestructura de serving. Conviene tener conocimientos previos sobre arquitecturas GPU de NVIDIA y uso de contenedores.