INTERMEDIO · 8 MÓDULOS · 64 LECCIONES
Frameworks de evaluación
Descubre con evidencia si tu asistente con LLM funciona: lee sus conversaciones, encuentra en qué falla, mide cada falla con evaluadores confiables y decide cuándo está listo para lanzar.
- Es para ti si
- Tienes un asistente, un RAG o un agente con LLM y hoy lo evalúas a ojo.
- Al terminar
- Sabrás escribir un juez LLM por cada falla, validarlo contra una persona experta y poner un gate de evals en CI.
- Necesitas
- Python intermedio y haber integrado un LLM desde código. No necesitas llave de API.

Temario
01Análisis de errores: leer antes de medir
- Introducción: primero se lee, después se mide
- Trazas: la materia prima
- Leer una traza: dónde empieza la falla
- Codificación abierta: notas libres y un veredicto
- Codificación axial: de notas a una taxonomía de fallas
- Contar y priorizar: qué se arregla ya y qué merece un evaluador
- Saturación y criteria drift: cuándo parar y cuándo volver a revisar
- Proyecto: el reporte de fallas de Ridgeline
02De fallas a evaluadores: primero el código
- Introducción: el evaluador más barato es el que no necesita otro modelo
- Elegir el evaluador de cada falla
- Aserciones sobre la traza completa
- Revisar las llamadas a herramientas
- Hechos de referencia y respuestas esperadas
- Por qué las métricas genéricas engañan
- Un harness de evals en Python sin framework
- Proyecto: la suite de evaluadores de código y el prompt v2
03Jueces LLM: uno por modo de falla
04Validar al juez contra etiquetas humanas
05Datos sintéticos y evals de arranque en frío
06Evaluar por componente: RAG, conversaciones y agentes
- Introducción: una tasa global no dice qué arreglar
- Evaluar el retriever por separado
- Evaluar el generador cuando el retriever acertó
- Sesiones de varios turnos
- Trayectorias y llamadas a herramientas de un agente
- La matriz de fallas por transición
- Los frameworks son opcionales
- Proyecto: evals por componente y el prompt v3
08El umbral de calidad: una decisión de producto
Reseñas
Lo que dicen los estudiantes
Estas reseñas son de estudiantes inscritos que completaron al menos el 50% del curso. Moderamos las reseñas solo por motivos de contenido (spam, lenguaje ofensivo, datos personales), nunca por ser críticas o negativas.
Aún no hay reseñas aprobadas.
¡Sé el primero en compartir tu experiencia!