Large Vision-Language Models

Volumen de referencia técnica editado por investigadores destacados en el campo de la inteligencia artificial multimodal (incluyendo a los creadores de CoOp y desarrolladores de arquitecturas como InternVL), enfocado en la convergencia entre visión computacional y modelos de lenguaje masivos (LVLMs como CLIP, BLIP-2, LLaVA e InternVL). Está concebido para ingenieros de visión artificial, investigadores y estudiantes de posgrado con nivel intermedio o avanzado que cuenten con fundamentos sólidos en deep learning, redes convolucionales, Vision Transformers (ViT) y NLP.

El contenido se divide en tres ejes estratégicos: preentrenamiento, adaptación y aplicaciones avanzadas. Enseña cómo se construyen y depuran corpus masivos de pares imagen-texto (como LAION o COCO), las arquitecturas de proyección y alineamiento cross-modal (Q-Former y proyectores lineales), y examina a fondo las técnicas de prompt learning multimodal (métodos continuos y diferenciables como CoOp y CoCoOp, así como prompting de caja negra y blanca). Posteriormente, aborda tareas complejas como el reconocimiento de objetos de vocabulario abierto (open-vocabulary detection/segmentation), respuesta a preguntas visuales (VQA), comprensión visual 3D sobre nubes de puntos y generación de imágenes y vídeos guiada por lenguaje natural.

Su principal fortaleza reside en condensar la literatura y la experiencia técnica de los grupos pioneros que sentaron las bases del prompting en visión, explicando no solo cómo interactúan los tokens visuales con los textuales, sino también los métodos de evaluación formal (benchmarks como MME y MMBench). Es un texto con enfoque riguroso y conceptual: prescinde de tutoriales de programación básica para priorizar esquemas de diseño arquitectónico y análisis matemático. Conviene tener familiaridad previa con el Vision Transformer y cálculo tensorial antes de abordar sus capítulos.