Generative AI on Kubernetes

Guía técnica orientada a la ingeniería de plataformas y MLOps que establece una hoja de ruta para entrenar, ajustar, desplegar y escalar modelos de lenguaje grande (LLMs) y cargas de IA generativa sobre clústeres de Kubernetes. La obra utiliza versiones modernas de Kubernetes junto con herramientas de infraestructura nativa de la nube como KServe, vLLM, Ray/KubeRay, Kueue, el operador de GPUs de NVIDIA y componentes de observabilidad. Está dirigida a ingenieros de MLOps, administradores de Kubernetes (SREs y DevOps) y desarrolladores de software de nivel intermedio que cuentan con experiencia en contenedores y buscan operar modelos de IA en producción con alta disponibilidad.

El contenido profundiza en los desafíos operacionales propios de los modelos fundacionales: asignación y partición óptima de hardware especializado (NVIDIA GPU Operator, MIG, vGPU), planificación avanzada y colas de trabajos por lotes para entrenamiento y afinamiento con Kueue, y servicio de inferencia de baja latencia con KServe y vLLM (aprovechando PagedAttention y paralelismo de tensores). Asimismo, aborda estrategias de escalado horizontal y vertical basadas en señales de tráfico de tokens, monitorización con Prometheus y Grafana, patrones de enrutamiento con Kubernetes Gateway API e Istio, y la orquestación distribuida multinodo mediante operadores como KubeRay.

A lo largo del libro se implementan arquitecturas completas listas para entornos empresariales, incluyendo endpoints de inferencia compatibles con OpenAI, sistemas de RAG multinodo con bases de datos vectoriales y plataformas multiinquilino para agentes autónomos con aislamiento de cuotas. Su gran valor radica en trasladar las prácticas maduras de los sistemas distribuidos y Kubernetes a los requerimientos específicos de la IA moderna (tiempos de arranque prolongados, consumo masivo de VRAM y contención de recursos). No profundiza en formulaciones matemáticas de deep learning, concentrándose con total eficacia en la robustez operativa de la infraestructura.