Complete Guide to Open Source Big Data Stack

Guía práctica de ingeniería de sistemas diseñada para construir, desplegar y operar una plataforma de big data completa utilizando exclusivamente proyectos de código abierto de la Fundación Apache sobre un entorno de nube privada. Michael Frampton se enfoca en las versiones estables de las tecnologías disponibles en 2018, orientando el texto a ingenieros de datos, arquitectos de infraestructura, administradores de sistemas Linux y administradores de bases de datos que posean conocimientos sólidos de terminal, redes básicas y principios de virtualización y análisis de datos.

El autor enseña a configurar progresivamente cada estrato de la arquitectura: almacenamiento y computación en nube privada local con Apache CloudStack; aprovisionamiento y modelado de aplicaciones distribuidas mediante planos de Apache Brooklyn; gestión compartida de recursos y coordinación de clústeres con Apache Mesos (y entornos DC/OS); ingesta distribuida y gestión de colas de eventos en tiempo real mediante Apache Kafka; procesamiento analítico distribuido por lotes y en streaming a través de Apache Spark; integración con capas de persistencia distribuida NoSQL como Apache Cassandra y Riak; y exploración interactiva de datos y dashboards analíticos con Apache Zeppelin.

El recorrido del libro avanza paso a paso desde la configuración de las máquinas virtuales y la red privada hasta consolidar, en su tramo final, un stack unificado donde los eventos son consumidos por Kafka, analizados por Spark sobre Mesos y visualizados gráficamente en cuadernos de Zeppelin. Su mayor ventaja es brindar un enfoque integral para empresas que requieren soberanía de datos y no pueden depender de proveedores comerciales de nube pública. Como contrapartida, el mantenimiento y configuración de tantas herramientas integradas en hardware propio conlleva una curva de dificultad considerable, y la industria ha tendido en años posteriores a reemplazar Apache Mesos y CloudStack por Kubernetes como estándar de orquestación.