Build a Large Language Model

Obra técnica de referencia escrita por Sebastian Raschka que enseña a comprender y construir un modelo de lenguaje de gran escala (LLM) autorregresivo similar a la arquitectura GPT-2 desde sus cimientos más elementales, prescindiendo por completo de abstracciones de alto nivel o librerías de caja negra como Hugging Face Transformers. El texto se apoya en Python 3 y PyTorch, y está dirigido a desarrolladores de software, científicos de datos e ingenieros de machine learning de nivel intermedio que posean bases sólidas de programación orientada a objetos en Python y una comprensión inicial de los conceptos fundamentales de aprendizaje profundo y redes neuronales.

El recorrido formativo desglosa metódicamente cada componente del flujo de trabajo de los LLMs modernos: tokenización de texto mediante codificación por pares de bytes (BPE) con tiktoken, vectores de incrustación posicional y de tokens, y muestreo de datos con ventanas deslizantes. A continuación, el autor guía la implementación manual de mecanismos de atención (self-attention, atención causal con máscaras y multi-head attention), la estructura interna de los bloques Transformer (capas lineales, normalización con LayerNorm, activaciones GELU y conexiones residuales), y el bucle completo de preentrenamiento autorregresivo sobre texto plano calculando cross-entropy loss y perplejidad. También enseña a cargar y mapear pesos preentrenados oficiales de OpenAI, a implementar técnicas de fine-tuning para tareas de clasificación de texto y ajuste supervisado de instrucciones (SFT), y a aplicar adaptadores eficientes como LoRA (Low-Rank Adaptation).

A lo largo de sus capítulos y ejercicios prácticos, el lector construye de principio a fin una versión funcional de GPT-2 capaz de generar texto en una máquina convencional sin necesidad de clústeres en la nube, para luego adaptarla en un detector de spam y en un asistente de seguimiento de instrucciones con formato de diálogo. Su mayor mérito radica en disipar el misterio que rodea a la IA generativa, demostrando exactamente cómo interactúan los tensores y las matrices en cada capa matemática. Como contrapartida, el libro se limita deliberadamente a arquitecturas decoder-only de tamaño reducido y no abarca el entrenamiento distribuido a escala masiva de modelos de cientos de miles de millones de parámetros ni técnicas complejas de RLHF con modelos de recompensa independientes.