Big Data

Publicada en 2015 por Manning Publications, esta obra escrita por Nathan Marz (creador de Apache Storm) y James Warren formalizó y popularizó la célebre «Arquitectura Lambda» para diseñar sistemas de datos escalables, tolerantes a fallos y en tiempo real a escala web. Aunque el catálogo lo catalogue como básico dentro del ámbito del Big Data, está dirigida a ingenieros de software, desarrolladores de backend y arquitectos de datos con experiencia previa sólida en programación orientada a objetos (especialmente en Java o la máquina virtual JVM), estructuras de datos y bases de datos relacionales tradicionales.

El libro desglosa de manera exhaustiva las tres capas fundamentales del procesamiento distribuido: la capa por lotes (Batch Layer), la capa de servicio (Serving Layer) y la capa de velocidad (Speed Layer). Enseña el modelado de datos inmutables basado en hechos (fact-based model) utilizando Apache Thrift para esquemas y serialización estricta; el almacenamiento y procesamiento distribuido por lotes con Hadoop HDFS, MapReduce y Cascalog/JCascalog; la indexación y consulta de baja latencia mediante bases de datos de solo lectura como ElephantDB; y el procesamiento de flujos en tiempo real con Apache Storm y su API de micro-lotes Trident, integrando Apache Cassandra para almacenar y consultar vistas en tiempo real actualizables.

Todo el recorrido práctico se articula alrededor de un proyecto guiado e incremental: la construcción de la infraestructura completa de una plataforma analítica a gran escala, «SuperWebAnalytics.com», capaz de procesar millones de eventos por segundo y responder consultas complejas en tiempo real combinando vistas históricas y en tránsito. Su aportación técnica es capital por fundamentar la inmutabilidad de los datos, la tolerancia a errores de hardware y fallos humanos, y la consistencia eventual. Aunque las arquitecturas Kappa posteriores redujeron la duplicación de código mediante herramientas como Apache Flink o Spark Streaming, los principios de diseño de sistemas distribuidos y modelado de datos expuestos en este libro continúan siendo un estándar de referencia en la industria.