Deep Reinforcement Learning in Action

Manual práctico sobre aprendizaje por refuerzo profundo escrito por Alexander Zai y Brandon Brown, publicado por Manning en 2020. La obra utiliza Python y PyTorch para guiar al lector en el desarrollo de agentes autónomos capaces de aprender mediante prueba y error en entornos interactivos. Está pensada para desarrolladores, científicos de datos e ingenieros de software de nivel intermedio que cuenten con soltura en Python y conocimientos previos de deep learning (redes neuronales densas y convolucionales, cálculo de gradientes), pero que no disponen de experiencia previa en refuerzo ni en formulaciones matemáticas complejas.

El texto arranca formalizando el problema del agente mediante Procesos de Decisión de Markov (MDP) y la ecuación de Bellman, pasando de inmediato a la implementación de algoritmos contemporáneos. Cubre métodos basados en valor como Deep Q-Networks (DQN), redes objetivo, memoria de repetición de experiencias (Experience Replay) y Distributional DQN. Desarrolla también métodos de gradiente de política (REINFORCE) y esquemas actor-crítico (A2C). En sus secciones más avanzadas, introduce enfoques poco convencionales como algoritmos evolutivos para optimización de pesos, exploración motivada por curiosidad intrínseca (Intrinsic Curiosity Module o ICM), aprendizaje por refuerzo multiagente (MARL) y modelos de atención relacional para interpretabilidad. El stack técnico se apoya en PyTorch, OpenAI Gym, NumPy y Matplotlib.

A lo largo de los capítulos se programan agentes para resolver mundos de cuadrícula personalizados (Gridworld), tareas clásicas de control como CartPole, dinámicas de interacción multiagente cooperativas y competitivas, y un agente impulsado por curiosidad capaz de avanzar niveles en Super Mario Bros sin requerir recompensas extrínsecas inmediatas. Destaca por su enfoque intuitivo y por incorporar temáticas modernas raramente tratadas en manuales introductorios. Deja fuera métodos de acción continua complejos como SAC o TD3 y simuladores de física pesada como MuJoCo. Conviene tener una base firme en tensores de PyTorch antes de abordarlo.