High Performance Spark
Holden Karau, Rachel Warren
- Editorial
- O'Reilly
- Año
- 2017
- Páginas
- ~358
- Nivel
- Avanzado
De qué trata
Tratado técnico avanzado de Holden Karau (committer de Apache Spark) y Rachel Warren sobre optimización extrema y afinamiento de rendimiento en Apache Spark 2.x.
Las autoras profundizan en los mecanismos internos del motor: el optimizador Catalyst, el generador de código en tiempo de ejecución Tungsten (gestión de memoria off-heap sin sobrecarga de GC), particionamiento inteligente para evitar el costoso intercambio de datos por red (shuffle), y depuración de retrasos con la UI de Spark. Explica cómo escribir transformaciones eficientes en RDDs, DataFrames y Datasets.
Indispensable para ingenieros de datos y científicos de datos que necesitan procesar terabytes de información minimizando tiempos de ejecución y costes de infraestructura.
- High Performance Spark
- Holden Karau
- Catalyst Optimizer
- Tungsten Engine
- Shuffle Optimization
- Off-Heap Memory
- Spark UI
- O'Reilly
¿Cómo enseña?
Teórico
- ✓ Incluye ejercicios
- ✓ Incluye proyectos
Proyectos
Optimización extrema de un trabajo de análisis masivo en Spark
Refactorización de una canalización que sufría cuellos de botella por shuffle, aplicando particionamiento por rango y reduciendo el tiempo de ejecución en un 70%.
