LLMs in Production

Guía avanzada y multidisciplinar de ingeniería de software orientada a cerrar la brecha entre los prototipos experimentales de IA y los sistemas empresariales a gran escala basados en modelos masivos de lenguaje. Christopher Brousseau y Matthew Sharp abordan los retos operacionales, económicos y arquitectónicos que diferencian a los LLMs del software convencional. El texto está pensado para desarrolladores, ingenieros de machine learning, ingenieros de datos y arquitectos técnicos de nivel intermedio que cuentan con base sólida en Python y familiaridad con arquitecturas backend, APIs REST o contenedores, y que buscan dominar la disciplina de LLMOps.

El temario profundiza en el ciclo de vida completo de un producto basado en IA generativa: preparación y curación de conjuntos de datos para entrenamiento e instrucción; plataformas operativas para LLMs; fine-tuning eficiente mediante Parameter-Efficient Fine-Tuning (PEFT), Low-Rank Adaptation (LoRA), QLoRA y destilación de conocimiento; y alineamiento ético y de preferencias mediante Reinforcement Learning from Human Feedback (RLHF). En el plano de las aplicaciones, cubre el desarrollo de canalizaciones Retrieval-Augmented Generation (RAG) con bases de datos vectoriales, agentes autónomos y control estricto de contexto. En cuanto a infraestructura, analiza el despliegue con Kubernetes, la observabilidad, la mitigación de alucinaciones mediante guardrails y la reducción de latencia y costes en arquitecturas cloud y hardware perimetral.

Los autores estructuran el aprendizaje sobre desafíos y proyectos de ingeniería realistas: la reimplementación y adaptación guiada de un modelo de la familia Llama 3, la construcción de una extensión inteligente para Visual Studio Code con autocompletado y análisis de código asistido, y la cuantización de modelos pequeños para su ejecución local en dispositivos perimetrales (como Raspberry Pi). Su gran virtud es alejarse del entusiasmo superficial para enfocarse en la viabilidad económica y técnica (costes de inferencia por token, acuerdos de nivel de servicio y seguridad). Deja fuera el costoso entrenamiento fundacional desde cero con miles de GPUs, centrándose en cómo exprimir y estabilizar modelos abiertos y APIs propietarias en producción.