Domain-Specific Small Language Models

Guía técnica integral escrita por Guglielmo Iozzia (director de IA y matemáticas aplicadas) que plantea una alternativa pragmática frente a los modelos masivos de lenguaje: el uso y despliegue de modelos de lenguaje pequeños (SLMs, típicamente por debajo de los 10 mil millones de parámetros) ajustados a industrias y tareas concretas. Está orientada a científicos de datos, ingenieros de aprendizaje automático y desarrolladores de nivel intermedio que conocen Python y los fundamentos de PyTorch o Hugging Face, y buscan crear aplicaciones de inteligencia artificial eficientes, locales y respetuosas de la privacidad y las normativas legales sin depender de costosas GPUs en la nube.

El texto desglosa la arquitectura Transformer adaptada a escalas compactas y detalla el ciclo completo de especialización: ajuste fino integral y técnicas de adaptación eficiente de parámetros (PEFT) como LoRA y QLoRA sobre conjuntos de datos específicos de dominio. Enseña a acelerar la inferencia con ONNX Runtime y a cuantizar modelos a 4 y 8 bits (utilizando métodos como AWQ, GPTQ y formatos GGUF) para su ejecución en entornos de producción con presupuestos ajustados. También examina la monitorización de recursos (profiling) de memoria y latencia, el servicio local de modelos en portátiles o dispositivos móviles, y conceptos avanzados como el razonamiento guiado en tiempo de inferencia (test-time compute) para arquitecturas de agentes.

El libro guía el desarrollo de implementaciones prácticas concretas: un modelo especializado en la generación y revisión sintáctica de código Python, un modelo adaptado a bioinformática para la predicción de estructuras de proteínas, y un motor de inferencia local optimizado con ONNX para ejecutar modelos en ordenadores personales. Su principal valor radica en aterrizar la IA generativa a restricciones realistas de hardware y presupuesto empresarial, demostrando cuándo un modelo pequeño supera a uno generalista. Conviene tener soltura previa en el ecosistema Hugging Face y en la gestión de entornos virtuales para exprimir al máximo sus recetas de optimización.