Build a Reasoning Model

Continuación avanzada de los trabajos de Sebastian Raschka centrada en desmitificar y programar desde cero los mecanismos cognitivos y de razonamiento que impulsan a los modelos de frontera actuales, tales como DeepSeek-R1 y la serie o- de OpenAI. Utilizando Python y PyTorch con modelos base abiertos (como la familia Qwen), el libro está dirigido a ingenieros de inteligencia artificial, investigadores y programadores con nivel intermedio o avanzado que ya dominan los principios del aprendizaje profundo y la arquitectura Transformer, y buscan comprender cómo dotar a un modelo de capacidades analíticas explícitas sin recurrir a llamadas de API opacas.

El contenido aborda con profundidad matemática y de código las tres grandes vías para inducir razonamiento en LLMs: escalado en tiempo de inferencia (test-time compute scaling), aprendizaje por refuerzo y destilación de conocimiento. Enseña a optimizar la generación mediante KV cache y compilación de modelos con torch.compile, a diseñar bancos de evaluación rigurosos para razonamiento matemático y lógico (con verificadores basados en reglas y benchmarks como MATH-500 y GSM8K), a explotar técnicas de Chain-of-Thought (CoT), muestreo Best-of-N, consenso por votación (self-consistency) y bucles de autorrefinamiento (critique/reflection). Asimismo, detalla la formulación e implementación de algoritmos de refuerzo modernos como GRPO (Group Relative Policy Optimization) con recompensas verificables y de formato, prescindiendo de costosas redes de valor auxiliares.

A través de ejercicios y proyectos guiados, se ensambla un pipeline de verificación matemática, un motor de escalado de cómputo en inferencia y un flujo de entrenamiento por refuerzo con GRPO, culminando con la destilación de patrones de deliberación de un modelo profesor a uno estudiante ligero. El libro sobresale por formalizar de manera transparente los avances más recientes de la investigación de vanguardia en scripts ejecutables y reproducibles. Deja fuera el preentrenamiento desde cero a gran escala, asumiendo un modelo base ya preentrenado como punto de partida, y demanda soltura en el cálculo de gradientes y tensores para aprovechar al máximo sus explicaciones técnicas.