INTERMEDIO · 8 MÓDULOS · 64 LECCIONES
Lakehouse e Iceberg
Convierte tus archivos Parquet en tablas Apache Iceberg con transacciones, historial consultable, cambios de esquema sin reescribir datos y upserts nativos.
- Es para ti si
- Ya escribes Parquet o mantienes un warehouse y llevas el historial de cambios a mano.
- Al terminar
- Sabrás usar time travel, evolucionar esquema y partición, mantener una tabla sana y decidir cuándo conviene un lakehouse.
- Necesitas
- Python intermedio, Parquet y SQL básico. Spark con Java 17 solo para el módulo de MERGE.

Temario
01From File Format To Table Format
- Presentación del módulo: de un archivo Parquet a una tabla Iceberg real
- Cuatro veces que Parquet solo no fue suficiente
- Formato de archivo vs formato de tabla
- Instalando PyIceberg y un catálogo local
- Creando tu primer namespace y tabla
- Cargando el fact_orders de Kiosko en Iceberg
- Verificando el mismo total de 106.15
- Proyecto: la primera tabla Iceberg de Kiosko
02Anatomy Of An Iceberg Table
- Presentación del módulo: la anatomía de una tabla Iceberg
- El catálogo: un puntero a la metadata vigente
- El archivo de metadata: esquema, partición, snapshots
- Manifest lists y manifest files
- Los archivos de datos: el Parquet que ya conoces
- Inspeccionando la tabla de Kiosko en disco
- Leyendo snapshots e historia con PyIceberg
- Proyecto: la anatomía de la tabla de Kiosko, mapeada
03Snapshots And Time Travel
- Presentación del módulo: snapshots y time travel
- Cada escritura es un snapshot nuevo
- Cambiando P002 con un overwrite normal
- Capturando el snapshot-id, nunca hardcodeándolo
- Time travel: AS OF un snapshot-id
- Recuperando la historia de P002 con cero columnas extra
- Lo que el time travel no reemplaza
- Proyecto: el dim_product de Kiosko viajado en el tiempo
04Schema Evolution Without Rewriting
- Presentación del módulo: evolución de esquema sin reescritura
- Por qué overwrite-partition nunca fue atómico
- Agregando una columna sin reescribir datos
- Renombrando y borrando columnas de forma segura
- Poblando country en dim_store
- Leyendo snapshots antiguos después de un cambio de esquema
- Qué garantiza "ACID" en este contexto exacto
- Proyecto: el dim_store de Kiosko evolucionado
05Hidden Partitioning And Partition Evolution
- Presentación del módulo: partición oculta y evolución de partición
- Cómo Spark particionó a Kiosko por carpetas
- Partición oculta: la misma consulta, sin saber el layout
- Transforms de partición: `IdentityTransform`, `BucketTransform`, `DayTransform`
- Particionando `fact_orders_at_scale`
- Evolucionando el `PartitionSpec` sin reescribir
- Leyendo esquemas de partición viejos y nuevos, juntos
- Proyecto: el `fact_orders_at_scale` de Kiosko, particionado
06Merge Into And Native Upserts
- Presentación del módulo: `MERGE INTO` y upserts nativos
- Tres formas en que Kiosko ya resolvió esto
- Configurando Spark con el runtime de Iceberg
- `MERGE INTO` en Spark SQL
- Corriendo el cambio de P002 como un MERGE
- El upsert de PyIceberg: la alternativa Python-nativa
- Eligiendo entre MERGE en SQL y upsert en Python
- Proyecto: el upsert nativo de Kiosko
07Catalogs Maintenance And Delta Lake By Contrast
- Presentación del módulo: catálogos, mantenimiento y Delta Lake por contraste
- Catálogos más allá de lo local: REST, Glue, Unity Catalog, Polaris
- Por qué los snapshots acumulan costo
- Compactando archivos pequeños
- Expirando snapshots viejos, con seguridad
- Eliminando archivos huérfanos
- Delta Lake, por contraste
- Proyecto: la tabla mantenida de Kiosko
08Project Kioskos Lakehouse
- Presentación del módulo: el capstone, el lakehouse completo de Kiosko
- El brief: Kiosko necesita un lakehouse, no siete demos
- Reconstruyendo el star schema como tablas Iceberg
- Reproduciendo la historia de P002 con time travel
- Evolucionando y particionando a escala
- Fusionando actualizaciones a la manera nativa
- Qué le sigue faltando a Kiosko
- Proyecto: el primer lakehouse de Kiosko
Reseñas
Lo que dicen los estudiantes
Estas reseñas son de estudiantes inscritos que completaron al menos el 50% del curso. Moderamos las reseñas solo por motivos de contenido (spam, lenguaje ofensivo, datos personales), nunca por ser críticas o negativas.
Aún no hay reseñas aprobadas.
¡Sé el primero en compartir tu experiencia!