Saltar al contenido
Neural Soft
Contacta English (Ver esta página en inglés)

Desarrollo con IA

Curso de evaluación de sistemas de IA generativa

Mide la calidad de tu aplicación de IA con datos, no con impresiones.

Solicitar información

“Lo he probado con unas cuantas preguntas y va bien” no es una forma de evaluar un sistema que va a atender a clientes o a tomar decisiones. La evaluación es la disciplina que separa los prototipos de las aplicaciones de IA en las que se puede confiar.

En este curso aprenderás a construir conjuntos de prueba representativos, a elegir métricas, a usar modelos como evaluadores sin caer en sus sesgos, a evaluar sistemas RAG y agentes y a integrar todo en el ciclo de desarrollo para detectar regresiones antes de que lleguen a los usuarios.

Qué aprenderás

  • Diseñar conjuntos de evaluación representativos
  • Elegir métricas adecuadas para cada tipo de tarea
  • Usar modelos como evaluadores de forma fiable
  • Evaluar sistemas RAG y agentes
  • Integrar la evaluación en el desarrollo y en producción

Temario

8 módulos, de los fundamentos al proyecto final.

  1. Por qué evaluar

    • El problema de "parece que funciona"
    • Evaluación de modelos frente a evaluación de aplicaciones

  2. Conjuntos de evaluación

    • Casos reales, límite y adversarios
    • Etiquetado y respuestas de referencia
    • Datos sintéticos

  3. Métricas

    • Exactitud, cobertura y métricas de extracción
    • Fidelidad, relevancia y tono
    • Coste y latencia

  4. LLM como juez

    • Rúbricas y comparaciones por pares
    • Sesgos del evaluador y cómo calibrarlo
    • Acuerdo con evaluadores humanos

  5. Evaluar RAG

    • Calidad de la recuperación
    • Fidelidad al contexto

  6. Evaluar agentes

    • Éxito de la tarea y trayectoria
    • Uso de herramientas y errores

  7. Integración continua

    • Pruebas de regresión de prompts y modelos
    • Comparativas antes de cambiar de modelo

  8. En producción

    • Muestreo y revisión humana
    • Comentarios de los usuarios
    • Alertas de degradación

Herramientas con las que practicarás

  • Python
  • promptfoo
  • Ragas
  • DeepEval
  • Langfuse

Proyecto práctico

Creas el sistema de evaluación de una aplicación de IA (propia o de ejemplo), con su conjunto de casos, métricas automáticas, un evaluador calibrado y una prueba de regresión en la integración continua.

Requisitos

  • Programación en Python.
  • Experiencia previa con APIs de modelos de lenguaje.

Otros cursos

¿Quieres este curso para tu equipo?

Adaptamos el contenido, la duración y la modalidad a tu empresa.

Solicitar información