Big Data Analytics with Spark
Mohammed Guller
- Editorial
- Apress
- Año
- 2015
- Páginas
- ~277
- Nivel
- Intermedio
De qué trata
Manual técnico y riguroso escrito por Mohammed Guller y publicado por Apress a finales de 2015, diseñado como una guía práctica para dominar Apache Spark (cubriendo la arquitectura central de la serie Spark 1.x) en el procesamiento distribuido en memoria a gran escala. Está dirigido a ingenieros de software, científicos de datos y arquitectos de big data con nivel intermedio que poseen conocimientos previos de desarrollo orientado a objetos (Java o Python) y buscan aprender a diseñar soluciones analíticas de alto rendimiento utilizando Scala como lenguaje nativo.
El texto inicia contextualizando el ecosistema de datos frente a Hadoop MapReduce, Hive, HBase, Cassandra y Kafka, e impartiendo una introducción a la programación funcional en Scala. A partir de allí, profundiza en el núcleo (Spark Core): la arquitectura de drivers y ejecutores, evaluación perezosa, variables compartidas (broadcast y acumuladores) y transformaciones y acciones sobre RDDs (Resilient Distributed Datasets). Explora detalladamente los cuatro módulos principales del framework: Spark SQL (con el uso de DataFrames y el optimizador Catalyst), Spark Streaming (procesamiento de micro-lotes con DStreams y ventanas deslizantes), MLlib (clasificación, regresión logística, k-means y filtrado colaborativo con ALS para recomendación) y GraphX (análisis de grafos de propiedades y PageRank). Además, explica la compilación y empaquetado con sbt, el despliegue en gestores de clúster (Standalone, Apache Mesos y Hadoop YARN) y el diagnóstico con la interfaz web de Spark.
A lo largo del libro se desarrollan aplicaciones completas en Scala: un analizador masivo de registros de servidores web, flujos de procesamiento en tiempo real con Spark Streaming, modelos de recomendación y predicción con MLlib, y algoritmos de grafos distribuidos con GraphX. Su mayor valor reside en su perspectiva integral, cubriendo desde la sintaxis de Scala hasta la afinación de rendimiento y el despliegue en producción. Como consideración temporal, al estar basado en Spark 1.x, no incluye la consolidación del tipo Dataset ni la API de Structured Streaming introducidas en Spark 2.x y posteriores, si bien los fundamentos de computación distribuida, el modelo de ejecución y la base de Scala y RDDs siguen siendo conocimientos indispensables para cualquier ingeniero de datos.
- Apache Spark 1.x
- Scala
- RDD
- Spark SQL
- DataFrames
- Spark Streaming
- MLlib
- GraphX
- Hadoop YARN
- Apache Mesos
- sbt
¿Cómo enseña?
Con proyectos
- ✗ Sin ejercicios
- ✓ Incluye proyectos
Proyectos
Analizador distribuido de logs de servidor con Spark Core
Aplicación batch escrita en Scala y empaquetada con sbt para filtrar, depurar y agregar millones de eventos de acceso de servidores web mediante transformaciones sobre RDDs.
Canalización de eventos en tiempo real con Spark Streaming
Sistema de ingesta continua que procesa micro-lotes mediante DStreams y operaciones de ventanas deslizantes para extraer indicadores analíticos en vivo.
Motor de recomendación y clasificación predictiva con MLlib
Pipeline de aprendizaje automático distribuido que aplica algoritmos de filtrado colaborativo (ALS) para sugerencia de productos y árboles de decisión para clasificación.
Análisis de redes y grafos con GraphX
Construcción de un grafo de propiedades a gran escala para calcular métricas de centralidad y ejecutar el algoritmo PageRank sobre redes de entidades.
