Veracity of Big Data

Monografía académica y técnica escrita por Vishnu Pendyala que se centra de manera exclusiva en la 'Veracidad', una de las dimensiones más descuidadas y críticas dentro de las cuatro V del Big Data (publicada en 2018). El texto aborda el riesgo latente de tomar decisiones empresariales, científicas o médicas basadas en macrodatos que contienen ruido, sesgos, fraudes o imprecisiones. Está orientado a científicos de datos, ingenieros de machine learning, auditores de datos e investigadores de nivel intermedio o avanzado que requieran mecanismos rigurosos para certificar la calidad y veracidad de la información antes de su procesamiento analítico.

El autor expone un marco metodológico multidisciplinario que combina estadística, inteligencia artificial y computación teórica. Analiza la evaluación de veracidad en entornos web (detección de noticias falsas, reseñas engañosas y reputación de fuentes), técnicas formales de detección de cambios como CUSUM y la prueba de razón de verosimilitud secuencial (SPRT), el uso de filtros predictivos como el Filtro de Kalman para inferir estados reales a partir de observaciones con ruido, y el uso de algoritmos de machine learning y métodos de ensamble para clasificación de datos anómalos. Asimismo, explora el modelado semántico con lógica difusa (fuzzy logic), representaciones ontológicas y la aplicación de registros distribuidos basados en Blockchain para garantizar la trazabilidad e inmutabilidad de los datos.

La obra adopta un enfoque teórico y matemático fundamentado, apoyado en casos de estudio del mundo real en sectores como salud, finanzas y medios sociales, sin implementar una aplicación de software completa ni incluir ejercicios prácticos guiados de programación. Su valor distintivo consiste en estructurar formalmente el problema de la confianza y fiabilidad de los datos, contrarrestando la tendencia común de centrarse únicamente en la velocidad o el volumen de almacenamiento. Deja fuera recetas de implementación en librerías específicas (como pipelines de Python o R listos para producción), por lo que es aconsejable poseer una base sólida en estadística inferencial, probabilidad y nociones básicas de minería de datos.