Big Data SMACK

Manual técnico centrado en la implementación del stack SMACK (Spark, Mesos, Akka, Cassandra y Kafka), uno de los paradigmas arquitectónicos más destacados de mediados de la década de 2010 para la creación de sistemas reactivos de procesamiento de datos en tiempo real («Fast Data»). Los autores, Raul Estrada e Isaac Ruiz, dirigen esta obra a desarrolladores backend, ingenieros de datos y arquitectos de software con experiencia en programación orientada a objetos (principalmente en Java o Scala) y conceptos básicos de sistemas distribuidos que buscan superar las limitaciones de latencia de las arquitecturas tradicionales orientadas a lotes.

El texto utiliza Scala como lenguaje troncal y detalla el papel y la integración de cada pieza del stack: concurrencia distribuida y gestión de eventos asíncronos mediante el modelo de actores de Akka; persistencia distribuida y de alta disponibilidad con Apache Cassandra y su lenguaje CQL; procesamiento analítico distribuido en memoria y micro-lotes con Apache Spark (Spark Core, Spark Streaming y Spark SQL); administración de recursos del clúster y despliegue elástico con Apache Mesos y contenedores Docker; y desacoplamiento, ingesta masiva y streaming de mensajería con Apache Kafka. Además, expone patrones de diseño para gestionar la contrapresión (backpressure) y garantizar la consistencia en entornos concurrentes.

La obra equilibra fundamentos teóricos con configuraciones prácticas para cada servicio y culmina con la integración de un pipeline de datos de extremo a extremo que conecta el flujo continuo desde la ingesta en Kafka hasta el guardado en Cassandra, pasando por la capa de actores y el análisis de Spark. Su aportación más relevante es demostrar cómo articular estos cinco componentes independientes en una arquitectura cohesiva y elástica. Como advertencia, el libro requiere cierta familiaridad previa con el paradigma funcional en Scala, y los lectores actuales deberán adaptar los conceptos de gestión de contenedores en Mesos al entorno dominante de Kubernetes.