Crear la página 'Guía rápida para pruebas múltiples' (libreta, issue #35) con corrección de comparaciones múltiples

[mgraffg]

Contexto

Parte del issue #34 (Página web), que pide explícitamente:

Guía rápida para pruebas múltiples [...] Considera también lo que se va implementar en el issue #35.

El sitio se está migrando (ver #43) a un proyecto Quarto de tipo website con estructura similar a https://ingeotec.github.io/LegalIA/: una libreta .ipynb por sección, enlazada desde el navbar en _quarto.yml, en vez del dashboard de una sola página quarto/CompStats.qmd.

El issue #35 (ya cerrado) agregó soporte para imprimir p-values con múltiples métricas y aplicar corrección por comparaciones múltiples (p.ej. statsmodels.stats.multitest.multipletests con método bonferroni), usando performance_multiple_metrics/difference_multiple (o su equivalente actual en Perf/Difference tras #30/#32/#36).

La sección "Multi-measure Support" del borrador anterior (quarto/CompStats.qmd) cubre cómo combinar varias métricas en un mismo Perf, pero usa la API obsoleta score_func/error_func (removida en #36, reemplazada por func/BiB) y no cubre la corrección de p-values por comparaciones múltiples que pedía el issue #35.

Qué hacer

• Crear la página quarto/pages/multiple_testing.ipynb (o el nombre que se defina en Crear la plantilla del sitio en Quarto (estructura tipo LegalIA) y la página de Introducción #43) como libreta Jupyter, migrando y corrigiendo el contenido de "Multi-measure Support" a la API actual (func=..., BiB=...).
• Extender esa página con el flujo completo de "pruebas múltiples": múltiples métricas, múltiples sistemas comparados contra el mejor, y la corrección de p-values (bonferroni u otro método soportado) usando la API actual del proyecto (revisar si la corrección vive en Perf.difference()/Difference o si sigue siendo responsabilidad del usuario vía statsmodels.stats.multitest.multipletests como en el ejemplo original de Performance multiple comparison #35).
• Si la corrección todavía no está expuesta directamente en Perf/Difference, documentar el patrón recomendado (ejemplo de código) para aplicarla sobre los p-values obtenidos.
• Agregar la página al navbar de _quarto.yml (ver Crear la plantilla del sitio en Quarto (estructura tipo LegalIA) y la página de Introducción #43).
• Confirmar que la libreta renderiza correctamente con quarto render y corre de principio a fin en Jupyter.

Referencia

• Issue padre: Página web #34
• Depende de la plantilla del sitio: Crear la plantilla del sitio en Quarto (estructura tipo LegalIA) y la página de Introducción #43
• Contexto funcional: Performance multiple comparison #35 (cerrado), Plan: Multi-measure API for Perf/Difference (e.g. macro-F1 + macro-recall together) #30, Document missing functions/features and add multi-measure examples (from #30) #32, Replace score_func/error_func with a single BiB flag on Perf #36

[mgraffg]

Implementado en eccb17f: se creó quarto/pages/multiple_testing.ipynb ("Multiple Testing"), ya enlazada desde el navbar de _quarto.yml (agregada junto con #39).

Al revisar la API actual resultó que el trabajo pendiente de este issue era puramente de documentación: la corrección por comparaciones múltiples y el soporte multi-medida que pedía el issue #35 ya están implementados en Perf/Difference (posteriores a #30/#32/#36):

• Perf(func=[...], measure_names=[...]) combina varias medidas en una sola instancia, evaluadas sobre el mismo remuestreo bootstrap pareado.
• Difference.p_value(correction=...) acepta cualquier método de statsmodels.stats.multitest.multipletests ('bonferroni', 'holm', 'fdr_bh'), corrigiendo cada medida de forma independiente (por columna).
• Perf.plot/Difference.plot aceptan el mismo argumento correction para que el coloreado de significancia refleje los p-values ajustados.

No fue necesario exponer nada nuevo en interface.py; la libreta documenta el patrón con un ejemplo siguiendo la sugerencia de la conversación: tres sistemas sintéticos (precise, broad, balanced) con distinto trade-off precision/recall, medidos con precision_score, recall_score y f1_score a la vez. Cada sistema gana en una métrica distinta (precise en Precision, broad en Recall, balanced en F1), y la sección de corrección muestra un caso donde Bonferroni (pero no Holm ni FDR-BH) cambia la conclusión sobre si precise está significativamente detrás de balanced en F1 -- el mismo patrón que el caso de "Team Gamma" en Competition Organizers (#39), pero motivado por probar varias medidas a la vez en lugar de varios sistemas.

Verificación: la libreta se ejecutó de principio a fin con jupyter nbconvert --execute y el sitio completo con quarto render sin errores.

[mgraffg]

Cerrado por el commit eccb17f (ver comentario anterior con el detalle de la implementación).