Mastering Transformers, 2nd Edition
Savaş Yıldırım, Meysam Asgari-Chenaghlu
- Editorial
- Packt
- Año
- 2024
- Páginas
- ~462
- Nivel
- Avanzado
De qué trata
Segunda edición revisada y ampliada que recorre la evolución completa de la arquitectura Transformer, desde modelos clásicos de procesamiento de lenguaje natural basados en autoencoding (BERT, RoBERTa) y autorregresivos (GPT, XLNet), hasta los modelos de lenguaje masivos contemporáneos (LLMs), visión por computadora (Vision Transformers) y difusión latente (Stable Diffusion). El libro trabaja sobre el ecosistema moderno de Python 3.10+, PyTorch y Hugging Face. Está dirigido a científicos de datos, ingenieros de machine learning e investigadores de NLP que ya dominan Python, álgebra lineal y los fundamentos de las redes neuronales profundas, y buscan profundizar en implementaciones avanzadas.
El temario cubre desde los mecanismos de autoatención (self-attention y multi-head attention), tokenización personalizada y embeddings contextuales, hasta tareas downstream de clasificación de texto y etiquetado de secuencias (NER). Enseña técnicas de optimización y ajuste fino eficiente de parámetros (PEFT) mediante LoRA y cuantización, aprendizaje zero-shot/few-shot, modelado cross-lingüe y explicabilidad con Explainable AI (XAI). Para ello, utiliza de forma intensiva bibliotecas y herramientas como PyTorch, Hugging Face (Transformers, Datasets, Evaluate, Accelerate, PEFT y Diffusers), ONNX Runtime, FastAPI y TorchServe para el despliegue en producción, junto con TensorBoard y Weights & Biases para monitorizar el entrenamiento.
En la parte práctica se desarrollan implementaciones guiadas de clasificadores semánticos, pipelines de generación de texto autorregresivo, clasificadores de imágenes con ViT y un pipeline de síntesis texto a imagen con Stable Diffusion. El texto sobresale por tender un puente sólido entre el rigor matemático de los papers originales y el código moderno listo para producción, abordando además transformers para datos tabulares y series temporales. No cubre el preentrenamiento desde cero de LLMs a escala de supercomputación distribuida, concentrándose en el ajuste, la adaptación eficiente y la inferencia optimizada de modelos existentes.
- Transformers
- Hugging Face
- PyTorch
- LLMs
- BERT
- GPT
- PEFT y LoRA
- Stable Diffusion
- Vision Transformers (ViT)
- Explainable AI (XAI)
- Servicio de modelos
¿Cómo enseña?
Teoría + práctica
- ✗ Sin ejercicios
- ✓ Incluye proyectos
Proyectos
Pipeline de ajuste fino eficiente con PEFT y LoRA
Implementación de ajuste fino sobre modelos de lenguaje autorregresivos reduciendo el consumo de memoria mediante adaptadores LoRA y la biblioteca PEFT de Hugging Face.
Clasificador visual con Vision Transformer (ViT)
Construcción y entrenamiento de un modelo de clasificación de imágenes adaptando la arquitectura transformer al dominio visual mediante PyTorch y Hugging Face.
Pipeline de generación de imágenes con Stable Diffusion
Construcción de un flujo de trabajo para síntesis de imágenes a partir de descripciones textuales utilizando modelos de difusión latente y la biblioteca Diffusers.
Servicio de inferencia de Transformers para producción
Optimización y empaquetado de un modelo transformer para baja latencia con ONNX Runtime y despliegue como API REST con FastAPI y TorchServe.
