Azure Storage, Streaming, and Batch Analytics

Manual especializado en ingeniería de datos que enseña a diseñar y construir una infraestructura integral de analítica de datos en la nube basada en la arquitectura Lambda, utilizando exclusivamente los servicios gestionados Platform-as-a-Service (PaaS) de Microsoft Azure (con el ecosistema vigente en 2020). Está destinado a ingenieros de datos, administradores de bases de datos y desarrolladores con nivel intermedio que conocen SQL y conceptos de programación, y desean aprender a procesar grandes volúmenes de datos en streaming y por lotes sin administrar servidores ni clústeres propios.

El recorrido técnico aborda las dos capas de la arquitectura Lambda: velocidad (streaming) y almacenamiento histórico (batch). Detalla la ingesta de millones de eventos en tiempo real mediante Azure Event Hubs, el análisis de flujos continuos con ventanas de tiempo mediante Azure Stream Analytics, y la persistencia masiva en cuentas de Azure Storage y Azure Data Lake Storage (ADLS Gen2). Para el procesamiento por lotes, explica la ejecución distribuida de transformaciones complejas con Azure Data Lake Analytics utilizando el lenguaje híbrido U-SQL (combinación de C# y SQL). Asimismo, cubre la orquestación, programación y monitoreo de canalizaciones ETL/ELT con Azure Data Factory, y la carga y entrega final de datos analíticos hacia Azure SQL Database, complementado con scripts de automatización en PowerShell.

El lector desarrolla a lo largo del libro un pipeline analítico unificado de extremo a extremo que procesa telemetría entrante, emite resultados en tiempo real y a la vez almacena y transforma masivamente los datos históricos para su consulta en un almacén de datos SQL administrado. El gran atractivo del libro es su enfoque práctico hacia arquitecturas PaaS y serverless, optimizando costes operativos frente a costosas alternativas de infraestructura permanente. Como factor a considerar, el libro deposita un peso sustancial en Azure Data Lake Analytics y U-SQL, tecnologías propietarias que Microsoft relegó en favor de Azure Synapse Analytics y Azure Databricks. Es recomendable contar con conocimientos de SQL, modelado dimensional y nociones de C# o PowerShell.