Large Language Model-Based Solutions

Tratado técnico y estratégico escrito por Shreyas Subramanian (Principal Data Scientist en Amazon Web Services) enfocado en resolver el principal cuello de botella para la adopción masiva de modelos fundacionales: los costes desorbitados de computación e infraestructura. Analizando tanto APIs propietarias como modelos de pesos abiertos (familias Llama, Falcon y Mistral), el texto está concebido para ingenieros de machine learning, arquitectos cloud, científicos de datos y líderes técnicos de nivel intermedio que necesitan implementar soluciones de IA generativa comercialmente viables y con un retorno de inversión demostrable.

La obra expone con detalle técnico metodologías de ajuste fino eficiente de parámetros (PEFT, LoRA, Prefix Tuning, Adapters e IA3) y cuantización de precisión (INT8, INT4). Enseña técnicas esenciales para abaratar la inferencia, entre ellas el almacenamiento en caché semántico apoyado en almacenes vectoriales, la compresión sistemática de prompts, el procesamiento por lotes optimizado y la fragmentación inteligente de documentos largos. Asimismo, establece criterios para seleccionar modelos compactos o específicos de dominio (Small Language Models o SLMs) en lugar de recurrir por defecto a grandes modelos generalistas, evaluando el impacto del hardware acelerado y las instancias especializadas de inferencia.

Se analizan y diseñan arquitecturas de referencia para sistemas de recuperación semántica con caché inteligente y pipelines de inferencia con modelos ligeros optimizados. Su gran aportación radica en su análisis cuantitativo y económico: aporta criterios empíricos y directrices de ingeniería para recortar drásticamente los gastos operativos mensuales sin sacrificar calidad en las respuestas. Deja fuera el desarrollo de interfaces de usuario o frontends, concentrándose exclusivamente en la arquitectura de datos, inferencia y optimización de sistemas; conviene poseer conocimientos previos de Python, computación en la nube y fundamentos de procesamiento de lenguaje natural.