Evaluación de generalización semántica en LLMs con construcciones frasales
Estudio revela que los LLMs como GPT-o1 fallan al generalizar construcciones frasales sintácticamente idénticas, con una caída de rendimiento del 40%.
#evaluación de modelos
Auto-Discovery-Bench: Diagnóstico de seguimiento de estado estructurado
Descubre Auto-Discovery-Bench, un benchmark diagnóstico para evaluar la capacidad de agentes de IA de mantener y actualizar creencias estructuradas en descubrimiento interactivo guiado.
Fiabilidad Conformal: Nueva Métrica para Generación Condicional
Descubre la nueva métrica de fiabilidad conforme para evaluar modelos generativos. Aprende cómo CReL optimiza el peor caso en generación condicional.
¿La precisión en clasificación refleja la calidad de detección de deriva?
Descubre si la precisión de clasificación es una métrica confiable para evaluar la detección de deriva de concepto. Analizamos 8 métricas en flujos de datos sintéticos.
Alineación de Referencia por Pares: Observable Ordinal a Nivel de Modelo
Descubre cómo medir la alineación de preferencias en modelos de lenguaje con un observable ordinal. Estadística simple y estimadores con concentración.
AMNESIA: El nuevo benchmark para olvidar datos médicos en IA
Descubre AMNESIA, el primer benchmark masivo para evaluar desaprendizaje en LLMs médicos. ¿Cómo olvidar pacientes sin perder conocimiento clínico? Entra.
Robustez de embeddings multilingües: rankings según tareas y lenguas
Descubre cómo los rankings de modelos de embeddings multilingües varían según tareas y lenguas. Un metaestudio revela qué modelos son realmente robustos. ¡Mejora tu comprensión de benchmarks!