The Craft of Post-Training

Obra técnica de Chris von Csefalvay publicada por No Starch Press (2026), centrada en el posentrenamiento (post-training) de modelos fundacionales de lenguaje (LLMs): la etapa crítica que convierte un modelo base preentrenado en un sistema seguro, alineado para seguir instrucciones y especializado en tareas concretas. Está orientada a ingenieros de IA, desarrolladores y profesionales de machine learning de nivel intermedio a avanzado que dominan Python, los fundamentos de deep learning y la arquitectura Transformer, y que buscan adaptar y gobernar pesos de modelos de código abierto sin depender exclusivamente de APIs comerciales.

El texto profundiza en las metodologías y algoritmos más relevantes del ecosistema actual: fine-tuning supervisado (SFT), técnicas de parameter-efficient fine-tuning (PEFT) mediante LoRA y QLoRA para operar bajo restricciones de VRAM, y optimización de preferencias a través de Reinforcement Learning from Human Feedback (RLHF), Direct Preference Optimization (DPO), Kahneman-Tversky Optimization (KTO), Odds Ratio Preference Optimization (ORPO) y Group Relative Policy Optimization (GRPO). Asimismo, aborda cómo mitigar el olvido catastrófico (catastrophic forgetting), la adaptación de dominio en sectores sensibles como el legal o el clínico, la compresión y cuantización de modelos, el entrenamiento de modelos agénticos con capacidades de razonamiento guiadas por recompensas verificables (RLVR) y el diseño de benchmarks de evaluación para prevenir regresiones. Todo ello se apoya en librerías y herramientas clave como PyTorch, Hugging Face Transformers, TRL (Transformer Reinforcement Learning), PEFT y BitsAndBytes.

A través de notebooks en Jupyter ejecutables en entornos con GPU individuales (como Google Colab o estaciones locales), el lector aprende a implementar pipelines de curación de datos de instrucciones, ajuste eficiente y alineación de preferencias. La gran aportación de la obra es desmitificar la caja negra del posentrenamiento conectando la formulación matemática con decisiones ingenieriles y compromisos de cómputo reales. Deja fuera el preentrenamiento desde cero a escala masiva (propio de grandes laboratorios), concentrándose con pragmatismo en las técnicas que los equipos de ingeniería pueden ejecutar y validar en entornos productivos.