Building a Data Integration Team

Manual organizativo y técnico publicado por Apress en 2020 que proporciona una metodología paso a paso para planificar, conformar y dirigir un equipo de integración de datos en empresas con arquitecturas heterogéneas. El autor, el arquitecto de datos Jarrett Goldfedder, orienta la obra a gerentes de ingeniería de datos, directores de TI, arquitectos de software y jefes de proyecto de nivel intermedio que necesitan gestionar migraciones complejas desde sistemas legados o poner en marcha integraciones continuas y flujos de datos consistentes, documentados y gobernados.

El libro aborda tanto los aspectos de equipo y gestión como los procesos técnicos de un pipeline de ETL/ELT. En la parte organizativa y metodológica, enseña a definir roles y habilidades requeridas (arquitectos de integración, desarrolladores ETL, analistas de negocio), estructurar una oficina de gobernanza de datos (Data Governance Office) y utilizar plantillas estandarizadas para elaborar planes de migración de datos, auditorías de calidad (data profiling), matrices de mapeo de origen a destino (source-to-target mapping) y registros de incidencias. En la dimensión técnica, establece criterios comparativos para evaluar soluciones de integración de datos del mercado (analizando herramientas como Pentaho Data Integration, Microsoft SSIS, Talend o Informatica) según su sintaxis de transformación (Java, JavaScript, SQL), modelos de despliegue y costes de licenciamiento. Asimismo, expone pautas clave sobre captura de registros de error, monitorización continua de pipelines y protocolos de mantenimiento correctivo y evolutivo tras el despliegue.

En su sección práctica (Capítulo 6), el texto guía al lector a través de un proyecto de migración y ETL en el que se extraen y limpian datos de contactos y productos desde ficheros delimitados (CSV/TSV), se aplican reglas de transformación y se cargan en una base de datos relacional SQLite utilizando Pentaho Data Integration (PDI / Spoon) junto con sentencias SQL. El gran valor diferencial del libro reside en su colección de plantillas y artefactos de documentación descargables, que ahorran semanas de diseño inicial a equipos en formación. Por otro lado, no profundiza en orquestadores modernos en la nube como Apache Airflow ni en arquitecturas de streaming en tiempo real como Apache Kafka, limitándose al paradigma de integración por lotes tradicional. Es conveniente contar con conocimientos previos de SQL y nociones de modelado relacional de datos.