ML and Generative AI in the Data Lakehouse

Guía técnica escrita por Bennie Haelen orientada a la concepción, desarrollo y despliegue a gran escala de soluciones de aprendizaje automático e inteligencia artificial generativa sobre arquitecturas de Data Lakehouse empresarial, haciendo foco en Databricks Data Intelligence Platform. Está dirigida a ingenieros de datos, científicos de datos y arquitectos de soluciones de nivel intermedio o avanzado que posean experiencia previa con Python, SQL y fundamentos de machine learning distribuido, y que busquen conectar modelos predictivos y LLMs con los datos propietarios de una organización.

A lo largo de sus capítulos se profundiza en las herramientas nucleares del ecosistema de Databricks: el seguimiento y registro de modelos con MLflow, la gobernanza de datos y catálogos unificados con Unity Catalog, y el diseño de tiendas de características (feature stores) apoyadas en tablas Delta Lake. En el frente de escalabilidad y cómputo, enseña el procesamiento masivo con Apache Spark (mediante Spark MLlib y Pandas API on Spark), la optimización distribuida de hiperparámetros con Optuna, Hyperopt y Ray Tune, y el entrenamiento distribuido de deep learning con TorchDistributor, DeepSpeed y Ray. Para la capa generativa, cubre la arquitectura Lakehouse GenAI, el despliegue de modelos de código abierto, la creación de agentes autónomos, la adopción del Model Context Protocol (MCP) y la orquestación e interacción multiagente con el framework DSPy.

El aprendizaje se articula a través de implementaciones arquitectónicas realistas, como un feature store empresarial para riesgo de crédito basado en datos de LendingClub, pipelines de entrenamiento distribuido con TorchDistributor y streaming en tiempo real con Spark Structured Streaming, además de un ecosistema de agentes que consultan el lakehouse vía MCP y DSPy. El texto destaca por su enfoque pragmático centrado en gobernanza, linaje y rendimiento en producción corporativa, alejándose de prototipos aislados; sin embargo, asume acceso a un entorno de Databricks en la nube y cierta madurez en infraestructura de datos, por lo que deja de lado introducciones básicas a la ciencia de datos o a configuraciones locales convencionales.