Pretrain Vision and Large Language Models in Python

"Pretrain Vision and Large Language Models in Python", obra de Emily Webber publicada por Packt en 2023, es una guía de ingeniería centrada en el preentrenamiento desde cero de modelos fundacionales a gran escala (modelos de lenguaje, modelos de visión como Vision Transformers y arquitecturas multimodales) en la nube de Amazon Web Services (AWS). Está orientada a ingenieros de machine learning, científicos de datos y arquitectos de soluciones de nivel intermedio a avanzado que ya cuentan con un sólido manejo de Python, bases matemáticas de deep learning y fundamentos de computación en la nube, y desean superar el nivel de la afinación convencional para dominar el entrenamiento distribuido en clústeres multi-GPU.

El libro detalla el ciclo completo de preparación y cómputo distribuido, comenzando por la recolección, filtrado y estructuración de conjuntos masivos de datos. Explica la selección de aceleradores de hardware en AWS (instancias con GPUs NVIDIA y aceleradores Trainium) y la preparación de contenedores con Docker y Amazon ECR. Webber enseña a formular y aplicar leyes de escalado (scaling laws), implementar paralelismo de datos y de modelo mediante PyTorch, DeepSpeed y las librerías distribuidas de Amazon SageMaker, diseñar cargadores de datos distribuidos de alto rendimiento, optimizar hiperparámetros, gestionar la tolerancia a fallos ante caídas de nodos en ejecuciones prolongadas, mitigar sesgos en los datos de origen, evaluar modelos cuantitativa y cualitativamente, y construir canalizaciones de MLOps para inferencia y despliegue en SageMaker.

A lo largo de los capítulos se implementa una canalización completa de preentrenamiento y despliegue de modelos fundacionales sobre SageMaker, optimizando el rendimiento de cómputo y empaquetando el artefacto para producción. Su principal valor reside en desmitificar la pesada infraestructura y la ingeniería de sistemas que exige entrenar modelos masivos, un aspecto que los manuales centrados únicamente en APIs comerciales suelen ignorar. Como contrapartida, no cubre técnicas ligeras de ajuste de bajo costo (como LoRA o QLoRA) ni entornos locales económicos, requiriendo un presupuesto considerable de computación en la nube de AWS para poner en práctica todo el código, por lo que es imprescindible estar familiarizado con Docker y AWS CLI.