INTERMEDIO · 8 MÓDULOS · 64 LECCIONES
Streaming con Kafka y Flink
Reconoce cuándo el streaming vale la pena y resuelve con Kafka y Flink lo que el batch no puede, como saber en minutos que una tienda dejó de reportar.
- Es para ti si
- Ya haces pipelines por lotes y te preguntan si el negocio necesita tiempo real.
- Al terminar
- Sabrás usar tópicos y particiones, ventanas con watermarks, estado incremental y capturar cambios de Postgres con Debezium.
- Necesitas
- Python intermedio y Docker funcionando. Ayuda haber hecho las guías de dbt y de lakehouse.

Temario
01When Latency Is The Product
- Presentación del módulo: cuando la latencia ES el producto
- El flag débil: streaming que recalcula batch
- Qué le cuesta a tu empresa el streaming, y qué le cuesta no tenerlo
- Cuando la latencia de verdad ES el producto
- Instalando Kafka en modo KRaft con Docker
- Instalando PyFlink localmente
- Probándolo: el mismo embudo 35.3% en Kafka y Flink
- Proyecto: el primer "hello world" de Kafka y Flink de Kiosko
02Kafka Topics Partitions And Offsets
- Presentación del módulo: la anatomía real de Kafka
- Un topic es un log ordenado, de solo-anexar
- Particiones, y por qué el orden solo se garantiza dentro de una
- Offsets: el marcador de posición de un consumidor
- Eligiendo un cliente Python: `confluent-kafka` vs. `kafka-python`
- Creando el topic `kiosko.orders` de Kiosko
- Produciendo y consumiendo tu primer mensaje
- Proyecto: el primer topic de Kafka de Kiosko
03Producing And Consuming Kioskos Order Stream
- Presentación del módulo: del archivo fijo al flujo real
- De archivos fijos a un flujo de mensajes
- Clave de mensajes por `store_id`
- Construyendo un productor determinista y finito
- Construyendo un consumidor que verifica el conteo
- Replay de la semana canónica a través de Kafka
- Verificando de nuevo el mismo total `106.15`
- Proyecto: el stream de órdenes de Kiosko en Kafka
04Event Time Watermarks And Deterministic Windows
- Presentación del módulo: el corazón de esta guía
- Tiempo de procesamiento vs. tiempo-evento
- Por qué el reloj de pared está prohibido en esta guía
- Watermarks: cómo Flink sabe que es seguro cerrar una ventana
- Bounded out-of-orderness en PyFlink
- Ventanas tumbling sobre `order_ts`
- Reproduciendo los totales diarios de Kiosko con un job de ventanas
- Proyecto: la primera ventana determinista de Kiosko
05Flink Aggregations Windows Vs Running State
- Presentación del módulo: dos formas de agregar, una sola ventaja real
- Revenue por ventana, por tienda
- Estado con clave: la otra forma de agregar
- Unidades vendidas corrientes por producto, sin recomputar todo
- Por qué lo incremental le gana a recomputar todo el historial
- Verificando ambos agregados contra los totales conocidos
- Qué te da esto que el batch no te da
- Proyecto: ventas en vivo y señal de inventario corriente de Kiosko
06Detecting Kioskos Broken Day Live
- Presentación del módulo: el caso estrella de esta guía
- Ventanas de sesión: una ventana que se cierra por silencio
- Diseñando un chequeo de "latido" para una tienda
- El 10 de agosto de Kiosko: cuando S02 se queda callada
- Construyendo el detector de silencio en PyFlink
- La alerta: tienda en silencio, y cuándo dispara
- Minutos vs. mañana: comparando contra el DAG diario
- Proyecto: la alerta operacional en vivo de Kiosko
07Cdc The Live Bridge To The Warehouse
- Presentación del módulo: el hilo que otra guía dejó abierto a propósito
- Qué resuelve CDC que un `SELECT` periódico no puede
- Debezium y el write-ahead log
- Levantando Postgres, Kafka Connect y Debezium con Docker
- Capturando el cambio de precio de `P002` como un evento real
- Leyendo el payload `before`/`after` de los eventos de cambio
- Aplicando el cambio con `table.upsert()` de PyIceberg
- Proyecto: el primer puente CDC en vivo de Kiosko
08Project Kioskos Streaming Pipeline
- Presentación del módulo: el ensamble completo
- El brief: lo que Kiosko necesita saber en minutos, no mañana
- Ensamblando el pipeline completo: del productor a la alerta
- Corriendo la semana canónica, y coincidiendo con cada guía batch
- Corriendo el día roto, y viendo la alerta disparar
- Corriendo el puente CDC de punta a punta
- Lo que a Kiosko todavía le falta
- Proyecto: la primera plataforma de streaming de Kiosko
Reseñas
Lo que dicen los estudiantes
Estas reseñas son de estudiantes inscritos que completaron al menos el 50% del curso. Moderamos las reseñas solo por motivos de contenido (spam, lenguaje ofensivo, datos personales), nunca por ser críticas o negativas.
Aún no hay reseñas aprobadas.
¡Sé el primero en compartir tu experiencia!