Natural Language Processing with PyTorch

Texto de referencia publicado por O'Reilly en 2019 por Delip Rao y Brian McMahan, que establece un puente metódico entre los conceptos del procesamiento del lenguaje natural y las herramientas de aprendizaje profundo en PyTorch. Está dirigido a desarrolladores, ingenieros de machine learning e investigadores de nivel intermedio que conocen Python y los fundamentos del álgebra lineal, y desean dominar la creación y el entrenamiento de modelos neuronales diseñados específicamente para datos textuales.

El temario enseña desde las operaciones fundamentales con tensores y grafos computacionales de PyTorch hasta modelos avanzados. Cubre codificación de texto, capas lineales, perceptrones multicapa (MLP), redes convolucionales unidimensionales (CNN) para secuencias de texto, espacios de embeddings (CBOW y representaciones preentrenadas como GloVe), redes neuronales recurrentes (RNN, GRU y LSTM), serialización con PackedSequence, arquitecturas codificador-decodificador y mecanismos de atención aplicados a la traducción, apoyándose en PyTorch, pandas y scikit-learn.

A través de proyectos prácticos guiados, se implementan clasificadores de sentimientos en reseñas de Yelp, modelos de predicción de nacionalidad de apellidos mediante CNN y RNN, un generador condicionador de apellidos por caracteres y un sistema de traducción automática neuronal (NMT) con atención. Destaca por su impecable rigor en el diseño de pipelines de entrenamiento y manejo de tensores; como limitación temporal, precede a la hegemonía de los modelos fundacionales basados en transformers modernos, por lo que resulta ideal para comprender en profundidad las arquitecturas recurrentes y la fontanería interna de PyTorch.