INTERMEDIO · 8 MÓDULOS · 64 LECCIONES

Frameworks de evaluación

Descubre con evidencia si tu asistente con LLM funciona: lee sus conversaciones, encuentra en qué falla, mide cada falla con evaluadores confiables y decide cuándo está listo para lanzar.

Es para ti si
Tienes un asistente, un RAG o un agente con LLM y hoy lo evalúas a ojo.
Al terminar
Sabrás escribir un juez LLM por cada falla, validarlo contra una persona experta y poner un gate de evals en CI.
Necesitas
Python intermedio y haber integrado un LLM desde código. No necesitas llave de API.
  1. 01Análisis de errores: leer antes de medir8 LECCIONES
    1. Introducción: primero se lee, después se mide
    2. Trazas: la materia prima
    3. Leer una traza: dónde empieza la falla
    4. Codificación abierta: notas libres y un veredicto
    5. Codificación axial: de notas a una taxonomía de fallas
    6. Contar y priorizar: qué se arregla ya y qué merece un evaluador
    7. Saturación y criteria drift: cuándo parar y cuándo volver a revisar
    8. Proyecto: el reporte de fallas de Ridgeline
  2. 02De fallas a evaluadores: primero el código8 LECCIONES
    1. Introducción: el evaluador más barato es el que no necesita otro modelo
    2. Elegir el evaluador de cada falla
    3. Aserciones sobre la traza completa
    4. Revisar las llamadas a herramientas
    5. Hechos de referencia y respuestas esperadas
    6. Por qué las métricas genéricas engañan
    7. Un harness de evals en Python sin framework
    8. Proyecto: la suite de evaluadores de código y el prompt v2
  3. 03Jueces LLM: uno por modo de falla8 LECCIONES
    1. Introducción: una pregunta estrecha para un modelo
    2. Anatomía de un juez binario
    3. Escribir el prompt del juez
    4. Veredictos estructurados con la API de Claude
    5. Por qué pass/fail le gana a los puntajes
    6. Los sesgos conocidos de los jueces
    7. Costo, latencia y el modelo del juez
    8. Proyecto: cuatro jueces para Ridgeline
  4. 04Validar al juez contra etiquetas humanas8 LECCIONES
    1. Introducción: ¿quién valida al validador?
    2. Etiquetar un set balanceado
    3. Train, dev y test: para qué sirve cada parte
    4. TPR, TNR y por qué la exactitud miente
    5. Iterar el juez sobre dev
    6. El split de test, una sola vez
    7. Corregir la tasa observada e informar el intervalo
    8. Proyecto: el reporte de validación de un juez
  5. 05Datos sintéticos y evals de arranque en frío8 LECCIONES
    1. Introducción: evaluar antes de tener usuarios
    2. El problema del arranque en frío
    3. Dimensiones de escenario
    4. De tuplas a consultas
    5. Revisar y filtrar los datos sintéticos
    6. Red teaming: provocar la falla antes de medirla
    7. Lo que un set sintético no te puede decir
    8. Proyecto: el set de arranque en frío
  6. 06Evaluar por componente: RAG, conversaciones y agentes8 LECCIONES
    1. Introducción: una tasa global no dice qué arreglar
    2. Evaluar el retriever por separado
    3. Evaluar el generador cuando el retriever acertó
    4. Sesiones de varios turnos
    5. Trayectorias y llamadas a herramientas de un agente
    6. La matriz de fallas por transición
    7. Los frameworks son opcionales
    8. Proyecto: evals por componente y el prompt v3
  7. 07Evals en CI y en producción8 LECCIONES
    1. Introducción: dos lugares, dos preguntas
    2. El dataset de CI
    3. El gate de regresión
    4. El workflow de GitHub Actions
    5. Comparar dos versiones
    6. Muestrear y juzgar el tráfico de producción
    7. Alertas con intervalos y cerrar el ciclo
    8. Proyecto: gate de CI y monitor de producción
  8. 08El umbral de calidad: una decisión de producto8 LECCIONES
    1. Introducción: los números no deciden solos
    2. Qué significa "suficientemente bueno"
    3. El costo de cada modo de falla
    4. Una barra por modo de falla
    5. Lanzar, escalonar o esperar
    6. Reportar resultados a personas
    7. Los evals como hábito del equipo
    8. Proyecto: la decisión de lanzamiento de Ridgeline
Reseñas

Lo que dicen los estudiantes

Estas reseñas son de estudiantes inscritos que completaron al menos el 50% del curso. Moderamos las reseñas solo por motivos de contenido (spam, lenguaje ofensivo, datos personales), nunca por ser críticas o negativas.

Aún no hay reseñas aprobadas.

¡Sé el primero en compartir tu experiencia!

SEC. 06 · EL ESTUDIO

Por qué existe este estudio

Durante décadas, construir software fue cosa de perfiles técnicos con años de formación, y llevar un producto digital a la vida real le tomaba a las empresas meses o años. El no-code y la inteligencia artificial han acortado esa brecha, pero el conocimiento sigue en manos de unos cuantos.

Tech Benders existe para abrir ese conocimiento, para que los equipos de negocio y los perfiles no técnicos puedan poner sus ideas en producción con las decisiones técnicas correctas detrás. La IA hace lo que le pides. Sin una base técnica, lo que construye puede no escalar con el ecosistema de tu empresa, y sus costos se disparan con el tiempo.

El equipo conoce los dolores de las organizaciones grandes y la velocidad a la que tienen que moverse. Trae arquitectura de soluciones, ingeniería de datos, producto construido de punta a punta, del backend al frontend, y trabajo diario con IA. Software que resuelve lo que necesitas en días, no en meses, con los costos de la IA bajo control.

Fundadores

El estudioConoce Tech Benders →

Escríbenoshi@techbenders.io

Hecho con Wislab