[ Módulo 06 ][ 35 min ]

Métricas: IoU y spellF1

Optimizar la métrica incorrecta puede destruir la puntuación del hackathon. Aquí aprenderemos a pensar en posesiones como segmentos completos.

Una posesión es un intervalo

Para cada posesión predicha se considera cuánto se solapa con una posesión real del mismo equipo. El IoU temporal es:

IoU = duración(intersección) / duración(unión)

El spellF1 oficial empareja posesiones de forma uno-a-uno y calcula F1 con umbrales de IoU de 0.3, 0.4, 0.5, 0.6 y 0.7, promediando los resultados.

macroF1 evalúa las etiquetas de fotogramas de tres clases H/A/D. Puedes tener buena macroF1 y mala spellF1 si fragmentas posesiones verdaderas en muchos intervalos diminutos.

El baseline publicado para superar es spellF1 = 0.2433 en el partido completo. No uses los cinco minutos de etiquetas públicas como un leaderboard fiable para elegir hiperparámetros.
[ Cierre ]

Lo que te llevas

  • IoU = duración de la intersección dividida por la de la unión.
  • El spellF1 oficial empareja posesiones uno a uno y promedia el F1 con umbrales de IoU de 0.3, 0.4, 0.5, 0.6 y 0.7.
  • Se puede tener buena macroF1 y mala spellF1 si se fragmentan posesiones verdaderas; el baseline a superar es spellF1 = 0.2433 en el partido completo.
[ Objetivos ]

Lo que debes dominar

  • Calcular IoU temporal.
  • Diferenciar calidad por fotograma y por posesión.
  • Entender los cinco umbrales oficiales.
[ Lectura ]

Recurso recomendado

[ Ponte a prueba ]

Comprobación rápida

2 respuestas correctas Completado

Responde correctamente las dos preguntas para completar el módulo. Puedes intentarlo todas las veces que quieras.

1. Una posesión verdadera de 40 fotogramas se predice como cuatro de 10. ¿Qué métrica es especialmente sensible?
2. ¿Cuál es la fórmula de IoU temporal?

Responde las dos preguntas antes de evaluar.

¡Módulo completado! Has respondido correctamente.

[ Preguntas ]

Preguntas sobre esta página

  1. Cargando preguntas…
0 / 1000

Se guarda en este navegador, sin cuenta.