Big Data Integration

Publicado en 2015 por Morgan & Claypool dentro de la serie Synthesis Lectures on Data Management (posteriormente integrada en Springer Nature), este volumen de Xin Luna Dong (investigadora en Google, Amazon y Meta) y Divesh Srivastava (director de investigación en bases de datos en AT&T Labs-Research) aborda el problema de la integración de Big Data (BDI). Está orientado a investigadores, ingenieros de datos y arquitectos de bases de datos de nivel intermedio con una base firme en teoría de bases de datos relacionales, estructuras de datos, álgebra relacional y estadística básica que requieren integrar y limpiar fuentes masivas y heterogéneas.

La obra analiza rigurosamente cómo las 4 «V» (Volumen, Velocidad, Variedad y Veracidad) alteran radicalmente los paradigmas clásicos de integración de datos. Desarrolla los tres núcleos de la canalización de BDI: el alineamiento y correspondencia de esquemas (schema alignment) ante miles de fuentes dispares; la vinculación de registros y resolución de entidades (record linkage / entity resolution) mediante técnicas de bloqueo (blocking) e indexación distribuida para identificar entidades duplicadas sin identificadores comunes; y la fusión de datos (data fusion) para dirimir información contradictoria calculando la fiabilidad de las fuentes («truth discovery»). Asimismo, profundiza en temas avanzados como la integración probabilística, el uso de crowdsourcing con retroalimentación humana, la selección óptima de fuentes («less is more»), la integración temporal de flujos dinámicos y el escalado mediante MapReduce y arquitecturas para grafos de conocimiento.

El texto es una monografía científica rigurosa y formal: expone formulaciones algorítmicas, modelos estadísticos y ejemplos ilustrativos sistemáticos, pero no incluye ejercicios de laboratorio prácticos ni proyectos de software de extremo a extremo con código fuente listo para producción. Su gran fortaleza radica en proporcionar un marco conceptual y matemático sólido para garantizar la veracidad y la calidad del dato antes de alimentarlo en modelos de analítica o aprendizaje automático. Conviene dominar teoría de bases de datos y algoritmos de concordancia antes de su lectura para aprovechar a fondo su profundidad técnica.