Distributed AI Systems
Fuheng Wu
- Editorial
- Packt
- Año
- 2026
- Páginas
- ~560
- Nivel
- Intermedio
De qué trata
Guía técnica avanzada en la que Fuheng Wu profundiza en la ingeniería de sistemas e infraestructura distribuida necesaria para entrenar, optimizar y servir modelos de frontera y LLMs a escala masiva. El texto está pensado para ingenieros de machine learning, arquitectos de sistemas de IA y especialistas en infraestructura MLOps con experiencia sólida en Python y PyTorch que necesitan superar los límites de hardware de una sola GPU y llevar modelos de miles de millones de parámetros a clústeres multi-nodo en entornos de producción.
La obra detalla la interacción entre el hardware de aceleración gráfica (arquitectura de GPU, memoria HBM, interconexiones NVLink e InfiniBand) y los frameworks de cómputo paralelo. Enseña a implementar entrenamiento distribuido con PyTorch DDP (DistributedDataParallel) y primitivas colectivas de NCCL (AllReduce, ReduceScatter, AlltoAll), particionado eficiente de memoria con FSDP (Fully Sharded Data Parallel, cubriendo tanto FSDP1 como FSDP2 con device mesh) y técnicas de estado avanzadas con DeepSpeed ZeRO (ZeRO-1/2/3) y Megatron-LM (paralelismo tensorial, de pipeline y de expertos MoE). En la capa de inferencia y servicio, analiza los motores vLLM (con PagedAttention) y SGLang (con RadixAttention y optimización entre peticiones), así como la orquestación de clústeres mediante SLURM y pilas completas de serving con enrutamiento y observabilidad.
Se practican configuraciones y bancos de pruebas reales, destacando el despliegue de pipelines de fine-tuning escalable con FSDP2 para transformers de gran tamaño y el montaje de un servicio de inferencia de alto rendimiento con vLLM y SGLang sobre clústeres gestionados por SLURM. Su gran aportación radica en cerrar la brecha entre la teoría matemática del modelado y la fontanería real de ingeniería de sistemas distribuida requerida en la era de los modelos fundacionales. No enseña fundamentos de redes neuronales ni procesamiento de datos clásico; se requiere familiaridad previa con el ecosistema de Linux, contenedores y programación paralela para aprovechar su contenido al máximo.
- PyTorch DDP
- FSDP2
- DeepSpeed ZeRO
- Megatron-LM
- vLLM
- SGLang
- SLURM
- Entrenamiento distribuido
- Inferencia de LLMs
- Paralelismo tensorial
- GPU Clusters
- NCCL
¿Cómo enseña?
Teoría + práctica
- ✓ Incluye ejercicios
- ✓ Incluye proyectos
Proyectos
Pipeline de entrenamiento distribuido con FSDP2
Entorno de fine-tuning multi-GPU para modelos tipo Transformer/T5 que implementa sharding a nivel de parámetro, device mesh, computación en precisión mixta y guardado distribuido de checkpoints.
Pila de serving de inferencia distribuida para LLMs
Infraestructura de servicio de modelos de lenguaje a gran escala que aprovecha vLLM y SGLang con PagedAttention y RadixAttention para maximizar el throughput y minimizar la latencia.
Entorno de orquestación de trabajos de entrenamiento con SLURM
Configuración y automatización de scripts de ejecución para despachar, monitorizar y escalar tareas distribuidas de PyTorch entre nodos interconectados en clúster.
