Kubernetes for Generative AI Solutions

Tratado práctico de ingeniería de plataformas centrado en el diseño, despliegue, escalado y gobierno de cargas de trabajo de IA generativa y modelos de lenguaje de gran escala sobre Kubernetes, con especial foco en Amazon EKS y nubes públicas. Ashok Srirama y Sukirti Gupta orientan este trabajo a ingenieros DevOps, profesionales de MLOps, arquitectos de software e ingenieros de infraestructura de nivel intermedio que ya manejan la administración de Kubernetes y necesitan resolver los desafíos operativos que imponen los LLMs: consumo intensivo de GPU, costes cloud desorbitados, latencia de inferencia y escalado elástico ante picos imprevistos.

El libro guía el aprovisionamiento de clústeres mediante infraestructura como código modular con Terraform, la contenerización de entornos de inferencia locales con llama-cpp-python y Flask, y la puesta en producción de modelos como Llama 3 sobre nodos con aceleración gráfica. Enseña a implementar bases de datos vectoriales como Qdrant, habilitar entornos interactivos con JupyterHub y dominar estrategias clave de optimización de hardware: particionamiento y asignación fraccional de GPU mediante NVIDIA GPU time-slicing, autoescalado ágil de nodos con Karpenter, escalado orientado a eventos con KEDA y HPA/VPA, auditoría y reducción del gasto operativo con Kubecost, endurecimiento de seguridad con RBAC y cifrado en tránsito/reposo, y observabilidad integral con Prometheus, Grafana y OpenTelemetry.

Los proyectos prácticos incluyen un microservicio de inferencia en contenedor para modelos locales, un chatbot de comercio electrónico con arquitectura RAG desplegado en Amazon EKS con Qdrant y JupyterHub para ajuste fino, y un clúster de alta disponibilidad optimizado en costes mediante el aprovisionamiento dinámico de Karpenter y el monitoreo financiero de Kubecost. El libro destaca por tratar la IA generativa desde la perspectiva del operador de sistemas y el ingeniero de infraestructura, cubriendo un terreno raramente abordado en la literatura técnica. Conviene contar con una cuenta de AWS y presupuesto para instancias GPU si se desea replicar la infraestructura en la nube.