Processing Big Data with Azure HDInsight

Guía práctica orientada a la implementación de sistemas de procesamiento masivo en la nube mediante Azure HDInsight, el servicio administrado de Microsoft que despliega clústeres basados en el ecosistema Apache Hadoop (con el estado tecnológico y servicios de Azure vigentes en 2017). El texto fue escrito por Vinit Yadav para desarrolladores de software, ingenieros de datos y arquitectos de nivel intermedio, especialmente aquellos con experiencia previa en el entorno de desarrollo de Microsoft (.NET, C# y Azure Portal) que buscan dominar las herramientas analíticas de código abierto integradas en la nube.

A lo largo de sus capítulos se enseña a aprovisionar clústeres en HDInsight y a configurar el almacenamiento escalable mediante Azure Blob Storage (WASB) con formatos de serialización como Apache Avro. Cubre de manera guiada la ejecución de trabajos MapReduce clásicos, la consulta declarativa y desarrollo de funciones definidas por el usuario (UDFs) en C# con Apache Hive, el procesamiento por lotes mediante scripts de Pig Latin en Apache Pig, la gestión de almacenes no relacionales con Apache HBase (incluyendo conectividad mediante drivers y clientes .NET), el análisis distribuido en memoria mediante Apache Spark (DataFrames y transformaciones RDD) y el procesamiento de flujos continuos en tiempo real con Apache Storm (diseño de spouts y bolts). Además, aborda la integración con sistemas de almacenamiento empresarial mediante PolyBase y SQL Server Parallel Data Warehouse (PDW).

El contenido se estructura a través de ejemplos prácticos y recetas de configuración paso a paso que enseñan a orquestar y consultar datos semiestructurados y no estructurados desde código C# y consolas de comandos. Su gran fortaleza radica en acortar la brecha entre el ecosistema .NET y los proyectos abiertos de Apache en Azure, facilitando una adopción ágil sin requerir dominio inicial de Java. Deja al margen las soluciones más modernas basadas en Kubernetes, Databricks o Azure Synapse Analytics, por lo que resulta clave contar con una cuenta de Microsoft Azure y conocimientos básicos de programación orientada a objetos en C# y sintaxis SQL.