Vision Language Models

Obra de referencia práctica y rigurosa dedicada al ciclo de vida completo de los modelos de visión y lenguaje (VLMs), escrita por especialistas vinculados directamente al ecosistema de Hugging Face. El contenido se apoya en librerías estándar como PyTorch, Hugging Face (Transformers, TRL, Datasets, Accelerate) y aceleración por GPU con CUDA. Está pensado para ingenieros de machine learning, desarrolladores de visión artificial y científicos de datos de nivel intermedio que conocen Python y deep learning y desean dominar la convergencia entre visión por computadora y modelos de lenguaje.

El temario abarca desde las bases arquitectónicas de la alineación multimodal (estrategias de fusión temprana y tardía, capas de proyección y codificadores como CLIP y SigLIP) hasta el curado, anotación y empaquetado de grandes conjuntos de datos multimodales. Enseña las metodologías contemporáneas de entrenamiento e instrucción, incluyendo el ajuste fino (fine-tuning) supervisado y la alineación por preferencias multimodales (DPO aplicado a visión). Además, profundiza en técnicas de inferencia zero-shot, cuantización y optimización de memoria, junto con el desarrollo de sistemas de inteligencia de documentos (Document AI), visual RAG (Retrieval-Augmented Generation) y agentes visuales capaces de actuar sobre interfaces.

El aprendizaje se asienta en cuadernos de trabajo interactivos y conjuntos de datos reales alojados en la plataforma Hugging Face (a través de la organización oficial vlmbook), lo que permite implementar soluciones directas para clasificación visual, transcripción y consulta semántica multimodal. Su mayor fortaleza reside en condensar las mejores prácticas comunitarias e industriales sobre modelos abiertos (como Idefics y LLaVA). Deja de lado derivaciones teóricas innecesarias para priorizar el código ejecutable, aunque se aconseja contar con GPUs compatibles con CUDA para ejecutar el entrenamiento y la inferencia sin restricciones.