Big Data e Ingeniería de Datos · BIG-120

Apache Kafka: fundamentos

Diseñar topics, particiones y grupos de consumidores para que los eventos lleguen y se conserven.

Bajo demanda Avanzado 7 módulos · 28 clases

Formato asíncrono Desarrollo, Ingeniería / Industria Kafka, Docker

DATOS CLOUD INDUSTRIA40

Lo que aprenderás

Levantar un clúster de Kafka con Docker y comprobar su estado desde las herramientas de consola.
Diseñar topics eligiendo número de particiones, factor de réplica y clave de partición.
Producir y consumir mensajes desde código controlando confirmaciones y reintentos.
Configurar grupos de consumidores y observar el reequilibrio cuando cambia el número de instancias.
Ajustar políticas de retención por tiempo, por tamaño y por compactación de clave.
Diagnosticar el retraso del consumidor y decidir si el problema es de producción o de consumo.

Contenido del curso

7 módulos · 28 clases en vídeo · práctica guiada en cada módulo

Módulo 1 · Registro distribuido 4 clases

Qué problema resuelve un sistema de eventos
Topics, particiones, desplazamientos y brokers
Clúster de prácticas con Docker
Primer mensaje desde la consola

Módulo 2 · Producción de mensajes 4 clases

Clave de partición y reparto de carga
Confirmaciones, reintentos y orden
Lotes, compresión y latencia
Productor idempotente

Módulo 3 · Consumo de mensajes 4 clases

Grupos de consumidores y asignación de particiones
Confirmación automática frente a manual
Reequilibrio: cuándo ocurre y qué cuesta
Reprocesar desde un desplazamiento anterior

Módulo 4 · Datos y esquemas 4 clases

Serialización de mensajes
Registro de esquemas y compatibilidad
Evolución del formato sin romper consumidores
Mensajes erróneos y cola de descartes

Módulo 5 · Almacenamiento y fiabilidad 4 clases

Retención por tiempo y por tamaño
Compactación por clave y sus usos
Réplicas, líder y réplicas sincronizadas
Caída de un broker: qué se ve desde fuera

Módulo 6 · Operación 4 clases

Métricas clave y retraso del consumidor
Dimensionar particiones y consumidores
Seguridad: autenticación y cifrado en tránsito
Errores frecuentes de configuración

Módulo 7 · Caso práctico 4 clases

Diseño de los topics de un sistema con varios servicios
Productor y consumidores en funcionamiento
Prueba de carga y observación del retraso
Documentación del contrato de eventos

Requisitos

Experiencia programando servicios y consumiendo APIs.
Manejo de Docker y de línea de comandos en Linux.
Nociones de sistemas distribuidos y de arquitectura de aplicaciones.

Descripción

Cuando varios sistemas necesitan el mismo dato, la salida rápida es que cada uno consulte la base de datos del otro. Al cabo de un tiempo hay integraciones cruzadas, procesos que se pisan y nadie sabe quién dispara qué. Kafka propone otra cosa: un registro ordenado y duradero de lo que ha pasado, que cada consumidor lee a su ritmo sin acoplarse al resto.

El curso levanta un clúster con Docker y construye productores y consumidores reales. Se diseñan topics decidiendo particiones y claves, se observa el reequilibrio de un grupo al añadir instancias, se prueban las políticas de retención y compactación y se provoca la caída de un nodo para ver qué ocurre con las réplicas y los desplazamientos.

Al terminar se puede diseñar la columna vertebral de eventos de un sistema y explicar sus garantías y sus límites. Es el paso previo a los conectores y al procesamiento de flujos, al procesamiento continuo con Spark y a las arquitecturas industriales donde el dato debe llegar del equipo al indicador en segundos.

¿Para quién es este curso?

Personas desarrolladoras de backend que están sustituyendo integraciones punto a punto por eventos.
Perfiles de ingeniería de datos que necesitan una capa de ingesta fiable para sus procesos.
Equipos de arquitectura que evalúan Kafka como base de comunicación entre sistemas.