Learn PySpark

Manual técnico enfocado en el procesamiento distribuido de Big Data y la construcción de modelos predictivos a gran escala mediante PySpark (la API de Python para Apache Spark 2.x). Escrito por Pramod Singh, está dirigido a ingenieros de datos, desarrolladores de Python y científicos de datos de nivel intermedio que ya dominan librerías locales como pandas o Scikit-Learn y necesitan dar el salto a entornos distribuidos capaces de procesar volúmenes masivos de información en clústeres.

El contenido desglosa la arquitectura interna de Apache Spark, la manipulación de DataFrames distribuidos y Spark SQL, el tratamiento de valores nulos, agregaciones, funciones de ventana y la creación de funciones definidas por el usuario (UDFs tradicionales y Pandas UDFs con Apache Arrow). Explora el procesamiento continuo en tiempo real con Spark Structured Streaming, la orquestación y automatización de flujos de trabajo (ETL) con Apache Airflow sobre contenedores Docker, y el desarrollo de modelos de Machine Learning con Spark MLlib (clasificación, regresión, clustering con K-Means y reducción con PCA). También aborda la integración de modelos de Deep Learning en Spark, el análisis de redes y grafos con GraphFrames, y las estrategias de afinamiento de hiperparámetros.

A lo largo de los capítulos se construyen flujos de procesamiento en streaming, tareas programadas en DAGs de Airflow y canales de modelado predictivo distribuido que luego se prueban tanto en entornos locales como en la plataforma Databricks. La gran fortaleza del libro es que unifica en un solo volumen las dos caras del trabajo con datos: la ingeniería de datos (ingesta, streaming y orquestación) y la ciencia de datos (MLlib y redes neuronales distribuidas). Como contrapartida, sus 210 páginas implican que la afinación avanzada de clústeres (memory management y shuffle tuning) y la administración en Kubernetes quedan fuera de su alcance. Resulta imprescindible dominar Python y tener nociones de SQL antes de su lectura.