Large Language Models A Deep Dive
Uday Kamath, Kevin Keenan, Garrett Somers, Sarah Sorenson
- Editorial
- Springer
- Año
- 2024
- Páginas
- ~496
- Nivel
- Avanzado
De qué trata
Manual avanzado publicado por Springer en 2024 que busca unir el rigor teórico con la implementación práctica en la era de los modelos generativos modernos (ecosistemas post-GPT-4, Llama 2/3 y Mistral). Está orientado a científicos de datos, ingenieros de machine learning e investigadores senior que ya dominan Python, arquitecturas profundas de redes neuronales y librerías estándar como PyTorch, y que necesitan dominar el ciclo de desarrollo completo de modelos de lenguaje tanto a nivel arquitectónico como operativo.
El temario cubre desde los conceptos fundamentales de los Transformers y los modelos autorregresivos hasta la puesta en producción. Explica detalladamente el aprendizaje basado en prompts, técnicas de adaptación eficiente de parámetros (PEFT, Prefix-Tuning, LoRA y QLoRA), alineamiento de valores mediante aprendizaje por refuerzo con retroalimentación humana (RLHF), mitigación de alucinaciones y sesgos, arquitecturas Retrieval-Augmented Generation (RAG conectando bases de datos vectoriales y embeddings), optimización de inferencia (cuantización, pruning y vLLM) y la extensión hacia modelos multimodales que procesan visión y audio. El libro se apoya en el ecosistema de Hugging Face (Transformers, Datasets, PEFT) y herramientas modernas de orquestación.
La obra destaca por contar con un repositorio oficial de código y tutoriales en Jupyter Notebooks diseñados para ejecutarse en entornos como Google Colab, donde se practican flujos completos de ajuste fino y pipelines de recuperación de información. Su gran aportación es el equilibrio entre el análisis matemático de los mecanismos de atención y los retos de ingeniería reales al desplegar LLMs en producción. Requiere hardware con aceleración GPU (CUDA) para sacar el máximo partido a los cuadernos de código. Es una guía de nivel avanzado indispensable para ingenieros que deban llevar modelos de lenguaje de la teoría a entornos productivos de alta demanda.
- Arquitectura Transformer
- Prompt-based Learning
- Fine-Tuning con PEFT y LoRA
- Alineamiento y RLHF
- RAG (Retrieval-Augmented Generation)
- Mitigación de alucinaciones
- Optimización de inferencia
- LLMs en producción
- LLMs multimodales
- Hugging Face y PyTorch
¿Cómo enseña?
Teoría + práctica
- ✗ Sin ejercicios
- ✓ Incluye proyectos
Proyectos
Pipeline empresarial de Retrieval-Augmented Generation (RAG)
Construcción de un flujo RAG completo que procesa y fragmenta documentos externos, indexa embeddings en una base de datos vectorial y orquesta la recuperación contextual para generar respuestas precisas sin reentrenar el modelo.
Fine-Tuning eficiente de un LLM con adaptadores LoRA
Ajuste fino de instrucciones de un modelo preentrenado de pesos abiertos utilizando PEFT y LoRA sobre GPUs de recursos limitados, evaluando la reducción de huella de memoria y la fidelidad de respuesta.
