Using Flume
Hari Shreedharan
- Editorial
- O'Reilly
- Año
- 2014
- Páginas
- ~238
- Nivel
- Intermedio
De qué trata
Manual práctico de Hari Shreedharan (committer de Apache Flume) sobre la recolección, agregación y movimiento masivo de datos de logs hacia Apache Hadoop con Flume.
El autor enseña la arquitectura orientada a agentes: fuentes (Sources: Spooling Directory, Exec, Avro), canales de amortiguación (Channels: Memory, File Channel transaccional) y destinos (Sinks: HDFS, HBase, Kafka). Explica cómo diseñar topologías de enrutamiento resilientes ante caídas de red y picos de tráfico masivo.
Muy formativo para ingenieros de datos y administradores de sistemas que necesitan ingestar terabytes de logs hacia HDFS sin pérdidas.
- Apache Flume
- Hari Shreedharan
- Ingesta de Datos
- HDFS Sink
- File Channel
- Avro Source
- Big Data
- O'Reilly
¿Cómo enseña?
Con proyectos
- ✓ Incluye ejercicios
- ✓ Incluye proyectos
Proyectos
Canalización de ingesta continua de logs hacia HDFS con Apache Flume
Construcción de una topología de agentes que recolecta logs de múltiples servidores web y los escribe por lotes comprimidos en el lago de datos HDFS.
