AVANZADO · 8 MÓDULOS · 64 LECCIONES

Monitoreo y observabilidad

Ve qué pasa dentro de tu sistema de IA en producción: traza cada prompt y llamada a herramientas, vigila latencia y costo, y encuentra la causa cuando algo falla.

Es para ti si
Tienes un sistema de IA en producción y te enteras de los problemas por los usuarios.
Al terminar
Sabrás instrumentar con OpenTelemetry, armar dashboards y alertas útiles, y depurar alucinaciones y picos de costo con trazas.
Necesitas
Python intermedio, FastAPI o similar, Docker y un sistema de IA desplegado o casi listo.
  1. 01Observability para AI Systems8 LECCIONES
    1. Introducción: Observabilidad para Sistemas AI
    2. Observabilidad vs Monitoring
    3. Por Qué AI Necesita Observabilidad Diferente
    4. Los Tres Pilares en Contexto AI
    5. Gaps en Sistemas AI sin Observabilidad
    6. Mentalidad de Observabilidad
    7. Priorizar Instrumentación
    8. Proyecto: Observability Assessment
  2. 02Métricas Clave para AI8 LECCIONES
    1. Introducción: Métricas Clave para AI
    2. Latency: TTFT, Tiempo por Token y End-to-End
    3. Cost: Tokens, Caché y USD por Request
    4. Errors: Rate, Tipos, Retries
    5. Output Quality: Relevance y Hallucination Score
    6. SLOs para Sistemas AI
    7. Métricas Derivadas e Instrumentación
    8. Proyecto: Metrics Instrumentation
  3. 03OpenTelemetry Setup e Instrumentación8 LECCIONES
    1. Introducción: OpenTelemetry Setup e Instrumentación
    2. OpenTelemetry como Estándar
    3. Setup SDK Python
    4. Tracing de Prompts y Completions
    5. Spans para Embeddings y Tool Calls
    6. Contexto Distribuido y Propagación
    7. Semantic Conventions para gen_ai
    8. Proyecto: OTel Instrumented AI App
  4. 04Dashboards y Visualización8 LECCIONES
    1. Introducción: Dashboards y Visualización
    2. Diseño de Dashboards para AI Operations
    3. Setup Prometheus + Grafana
    4. Panels de Latency
    5. Panels de Cost y Tokens
    6. Panels de Errors y Quality
    7. Drill-down y Correlación con Traces
    8. Proyecto: AI Operations Dashboard
  5. 05Estrategias de Alerting8 LECCIONES
    1. Introducción: Estrategias de Alerting
    2. Diseño de Alertas para AI
    3. Cost Alerts
    4. Latency Alerts y SLO Breaches
    5. Error Rate y Quality Alerts
    6. Multi-Signal Alerts y Correlación
    7. Alert Fatigue Prevention
    8. Proyecto: Alerting Strategy
  6. 06Monitoring AI-Específico8 LECCIONES
    1. Introducción: Monitoring AI-Específico
    2. Prompt Quality Tracking
    3. Token Usage Monitoring Detallado
    4. Model Drift Detection
    5. Hallucination Detection
    6. LangSmith: Setup e Integración
    7. Métricas Custom y Dashboards AI-Specific
    8. Proyecto: AI-Specific Monitoring Layer
  7. 07Debugging Production AI Issues8 LECCIONES
    1. Introducción: Debugging Production AI Issues
    2. Debugging Hallucinations
    3. Investigar Cost Spikes
    4. Diagnosticar Latency Degradation
    5. Trace-Driven Debugging Methodology
    6. Prompt Inspection en Producción
    7. Post-Mortem para AI Incidents
    8. Proyecto: Production Debug Runbook
  8. 08Proyecto Integrador: Observability Stack8 LECCIONES
    1. Introducción: Proyecto Integrador: Observability Stack
    2. Arquitectura de Integración
    3. Pipeline End-to-End
    4. Validación con Incidentes Simulados
    5. Sampling y Costo de Observabilidad
    6. Documentación y Onboarding
    7. Mantenimiento del Stack
    8. Proyecto: Full Observability Stack
Reseñas

Lo que dicen los estudiantes

Estas reseñas son de estudiantes inscritos que completaron al menos el 50% del curso. Moderamos las reseñas solo por motivos de contenido (spam, lenguaje ofensivo, datos personales), nunca por ser críticas o negativas.

Aún no hay reseñas aprobadas.

¡Sé el primero en compartir tu experiencia!

SEC. 06 · EL ESTUDIO

Por qué existe este estudio

Durante décadas, construir software fue cosa de perfiles técnicos con años de formación, y llevar un producto digital a la vida real le tomaba a las empresas meses o años. El no-code y la inteligencia artificial han acortado esa brecha, pero el conocimiento sigue en manos de unos cuantos.

Tech Benders existe para abrir ese conocimiento, para que los equipos de negocio y los perfiles no técnicos puedan poner sus ideas en producción con las decisiones técnicas correctas detrás. La IA hace lo que le pides. Sin una base técnica, lo que construye puede no escalar con el ecosistema de tu empresa, y sus costos se disparan con el tiempo.

El equipo conoce los dolores de las organizaciones grandes y la velocidad a la que tienen que moverse. Trae arquitectura de soluciones, ingeniería de datos, producto construido de punta a punta, del backend al frontend, y trabajo diario con IA. Software que resuelve lo que necesitas en días, no en meses, con los costos de la IA bajo control.

Fundadores

El estudioConoce Tech Benders →

Escríbenoshi@techbenders.io

Hecho con Wislab