INTERMEDIO · 8 MÓDULOS · 64 LECCIONES
Spark y procesamiento distribuido
Descubre cuándo tus datos dejan de caber en una sola máquina y procésalos con Spark en tu laptop, leyendo el plan de ejecución para saber qué cuesta.
- Es para ti si
- Dominas Python y SQL en un solo nodo y te preguntas si de verdad necesitas Spark.
- Al terminar
- Sabrás leer el costo de un shuffle o un join, cuándo cachear y cuándo Spark no hace falta.
- Necesitas
- Python intermedio con DataFrames, SQL con funciones de ventana y Java 17 instalado. Sin clúster ni nube.

Temario
01Why Distribute The Single Node Ceiling
- Presentación del módulo: por qué distribuir y el techo de un solo nodo
- El techo de un solo nodo: lo que DuckDB y Polars ya resolvieron
- Un criterio de costo real para cuándo distribuir
- Instalando PySpark y Java localmente
- Tu primera SparkSession
- Leyendo las órdenes de Kiosko con Spark
- Verificando que llegan las mismas cuarenta filas
- Mini-proyecto: la primera sesión de Spark de Kiosko
02The Spark Execution Model
- Presentación del módulo: el modelo de ejecución de Spark
- El driver y los executors
- RDDs: la abstracción original, vista una vez y dejada atrás
- La DataFrame API como la interfaz moderna
- Evaluación perezosa: transformations vs actions
- Construyendo una cadena de transformaciones sin ejecutarla
- Disparando la ejecución con una acción
- Mini-proyecto: la primera cadena de transformación de Kiosko
03Rebuilding Fact Orders With The Dataframe Api
- Presentación del módulo: reconstruyendo `fact_orders` con la DataFrame API
- Leyendo `orders`, `dim_store` y `dim_product` con esquema explícito
- Uniendo hechos y dimensiones con la DataFrame API
- Calculando revenue, de la misma forma, cuatro motores después
- Agrupando por tienda y por producto
- Verificando el mismo total de 106.15
- Escribiendo `fact_orders` como Parquet
- Mini-proyecto: `fact_orders` de Kiosko en Spark
04Partitions And The Cost Of Shuffle
- Presentación del módulo: particiones y el costo del shuffle
- Qué es, en realidad, una partición
- Por qué `groupBy`, `join` y `distinct` disparan un shuffle
- Generando `kiosko_orders_at_scale`, de forma determinista
- Leyendo el shuffle en `.explain()` y en la Spark UI
- `repartition()` contra `coalesce()`
- `spark.sql.shuffle.partitions` y Adaptive Query Execution
- Mini-proyecto: Kiosko a escala, particionado
05Joins And Window Functions At Scale
- Presentación del módulo: joins y funciones de ventana a escala
- Broadcast join vs shuffle join
- Leyendo un broadcast join en `.explain()`
- Forzando y leyendo un `SortMergeJoin`
- Funciones de ventana: `partitionBy` y `orderBy`
- Un total de revenue acumulado por tienda
- Ranking de producto top por tienda y por día
- Mini-proyecto: joins y rankings de Kiosko a escala
06Catalyst Explain And Caching
- Presentación del módulo: Catalyst, `.explain()` y caché
- Las fases del optimizador Catalyst
- Leyendo `.explain()` en sus distintos modos
- Adaptive Query Execution
- Cuándo cachear ayuda de verdad
- `persist()` y los storage levels
- Cuándo cachear solo cuesta memoria
- Mini-proyecto: el plan de consulta optimizado de Kiosko
07Parquet At Scale And Python Udfs
- Presentación del módulo: Parquet a escala y UDFs de Python
- Parquet a escala: escritura particionada
- Predicate y column pushdown
- Por qué un UDF de Python normal es lento: `cloudpickle` y el executor
- `pandas_udf` y vectorización con Arrow
- Reescribiendo `margin_category` como `pandas_udf`
- Nombrando Structured Streaming, sin construirlo
- Mini-proyecto: Parquet particionado y un UDF vectorizado
08Project Kioskos Distributed Pipeline
- Presentación del módulo: el capstone distribuido de Kiosko
- El brief: Kiosko a escala
- Ensamblando el pipeline distribuido, de punta a punta
- Verificando correctitud contra el `106.15` original
- Eligiendo particionamiento, caché y estrategia de `JOIN`, con criterio
- El árbol de decisión: ¿Kiosko de verdad necesita Spark?
- Qué le falta todavía a Kiosko
- Mini-proyecto: el primer pipeline distribuido de Kiosko
Reseñas
Lo que dicen los estudiantes
Estas reseñas son de estudiantes inscritos que completaron al menos el 50% del curso. Moderamos las reseñas solo por motivos de contenido (spam, lenguaje ofensivo, datos personales), nunca por ser críticas o negativas.
Aún no hay reseñas aprobadas.
¡Sé el primero en compartir tu experiencia!