Transformers in Action

Estudio técnico profundo y estructurado que desglosa la arquitectura Transformer y los grandes modelos de lenguaje (LLMs), fusionando su fundamentación matemática rigurosa con la implementación y optimización práctica de modelos en Python. Nicole Koenigstein guía al lector a través de los mecanismos que sustentan la IA generativa actual (como ChatGPT, Gemini o Claude), analizando cómo el diseño arquitectónico repercute directamente en la velocidad, la escala y la capacidad de inferencia. La obra está pensada para científicos de datos, ingenieros de machine learning e investigadores de nivel intermedio que dominan Python y cuentan con conocimientos previos de álgebra lineal, cálculo y fundamentos de aprendizaje profundo con PyTorch.

El libro cubre tanto la teoría interna como las librerías líderes de la industria. Explica el mecanismo de autoatención (scaled dot-product y multi-head attention), los esquemas de codificación posicional y el análisis de las distintas familias arquitectónicas (encoder-only como BERT, decoder-only como GPT y sequence-to-sequence como T5), así como arquitecturas Mixture-of-Experts (MoE) y modelos multimodales. Enseña a utilizar el ecosistema de Hugging Face (Transformers, Datasets y Accelerate) para adaptar modelos preentrenados a tareas de clasificación, resumen y traducción; construir canales de Retrieval-Augmented Generation (RAG); ejecutar búsquedas automatizadas de hiperparámetros con Ray Tune y Optuna; aplicar técnicas de decodificación y muestreo (beam search, temperature, top-k, top-p); implementar alineamiento de preferencias humanas (RLHF y DPO); y mitigar sesgos mediante marcos de IA responsable.

El aprendizaje se apoya en una suite de Jupyter Notebooks interactivos diseñados para ser ejecutados en entornos locales o Google Colab, permitiendo al lector programar capas de atención desde cero, ajustar modelos compactos (SLMs), cuantizar pesos y evaluar sistemas RAG. Su mayor fortaleza radica en explicar con precisión matemática el porqué de cada capa antes de pasar a la sintaxis en código, dotando al profesional de criterio arquitectónico. Deja de lado la infraestructura de despliegue en microservicios o Kubernetes, concentrándose en el entrenamiento, optimización y comportamiento interno de los modelos.