Machine Learning with PySpark

Guía introductoria orientada a la construcción y ejecución de flujos de aprendizaje automático a gran escala utilizando el ecosistema de Apache Spark mediante su interfaz de Python (PySpark, enfocado en Spark 2.x y la librería Spark MLlib basada en DataFrames). La obra está pensada para desarrolladores de Python, ingenieros de datos y analistas que poseen un nivel intermedio en programación y fundamentos matemáticos elementales, pero que necesitan dar el salto del análisis en memoria local hacia el procesamiento distribuido de Big Data sin tener que aprender Scala o Java.

El libro detalla la arquitectura de Apache Spark (diferenciando RDDs de DataFrames y el motor Spark SQL) y la preparación distribuida de datos mediante transformaciones, manejo de valores nulos, agregaciones, funciones de ventana y UDFs (User-Defined Functions). A continuación, enseña a estructurar pipelines reproducibles con Spark Pipelines y transformadores de características como VectorAssembler, StringIndexer y OneHotEncoderEstimator. Cubre algoritmos supervisados de regresión lineal (LinearRegression), clasificación binaria y multiclase (LogisticRegression, Decision Trees y Random Forest), clustering no supervisado con K-Means, sistemas de recomendación mediante filtrado colaborativo con ALS (Alternating Least Squares) y procesamiento de lenguaje natural (NLP) con herramientas como Tokenizer, StopWordsRemover, CountVectorizer, HashingTF, IDF y Word2Vec, apoyándose en CrossValidator y ParamGridBuilder para el ajuste de hiperparámetros.

A través de sus cuadernos prácticos, el lector construye canalizaciones aplicadas que incluyen un motor de recomendaciones de películas, un clasificador de texto con análisis de sentimiento, modelos para predecir la fuga de clientes (churn) y agrupamientos de perfiles de usuarios. Su mayor mérito es simplificar la transición a PySpark concentrándose directamente en la API moderna de DataFrames y MLlib sin perderse en complejidades teóricas. Como contrapartida, sus algo más de doscientas páginas dejan fuera la administración avanzada de clústeres en producción (YARN o Kubernetes), el streaming en tiempo real (Structured Streaming) y la afinación profunda de memoria y particionamiento.