ForeSci: Evaluando agentes LLM para juicios prospectivos en investigación de IA
ForeSci: un benchmark temporal para evaluar si los agentes LLM pueden emitir juicios prospectivos en investigación de IA a partir de evidencia histórica.
#valuación
Evaluación de generalización en RL mediante certificados
Descubre cómo los certificados neurales validan la generalización de algoritmos de RL en entornos continuos, correlacionando violaciones con éxito en tareas no vistas.
TravelEval: Marco de evaluación integral para agentes de planificación de viajes con LLM
TravelEval evalúa agentes de viajes con LLM en seis dimensiones. Simulación realista para mejorar la planificación de viajes.
Diagnóstico del arbitraje de LLMs en verificación de hechos con RAG
Descubre cómo evaluar el arbitraje de LLMs en verificación de hechos con RAG. Un método diagnóstico revela la fiabilidad del modelo y propone solución ligera.
Un continuo de cinco etapas para la alfabetización en IA en educación superior
Descubre el continuo de cinco etapas para la alfabetización en IA en la universidad. Cómo pasar de la evitación al uso crítico y la mejora. Guía práctica.
Gobernanza de IA: el reto de las ganancias no-modelo
Las mejoras fuera del modelo base complican la gobernanza de IA. Conoce los tres vectores de ganancia y cómo fortalecer la resiliencia social.
CLSP-REQA: Predicción de convulsiones en tiempo real con calidad EEG
CLSP-REQA integra evaluación de calidad EEG en tiempo real para predecir convulsiones con alta precisión, superando métodos previos sin adaptación de dominio. ¡Aprende cómo!
CardioLens: Brecha clínica de los MLLMs en resonancia cardíaca
Descubre cómo CardioLens revela la brecha entre el rendimiento en benchmarks y la realidad clínica de los MLLMs en resonancia cardíaca multi-secuencia
Efectividad y eficiencia del tool-calling en agentes con RL
Descubre cómo medir la efectividad del tool-calling en agentes LLM y cómo optimizar el entrenamiento RL para mayor eficiencia. Aprende técnicas de aceleración sin perder rendimiento.
StemBind: Cuando la IA sabe la regla pero elige mal
¿Sabías que los modelos multimodales aciertan la regla pero fallan en la respuesta? Descubre StemBind, un benchmark que localiza el verdadero cuello de botella en el razonamiento visual abstracto.
Comparativa de MLLMs en generación de código para webs interactivas
WebIGBench evalúa MLLMs en generar código de páginas web con interacciones complejas. Descubre los resultados y límites actuales. ¡Lee más!
Detección de intrusiones IoT con SMOTE y evaluación multi-modelo
Mejora la detección de intrusiones IoT con SMOTE y evaluación multi-modelo. Alcanza F1 de 0.9989 usando Random Forest en datos de potencia.
Evaluación alineada temporalmente para generación de talking heads
Descubre cómo la alineación temporal mejora la evaluación de generación de talking heads, ofreciendo métricas más robustas y justas para comparar modelos.
3DCodeBench: Nuevo benchmark para modelado 3D procedural con IA
Descubre 3DCodeBench, el benchmark que evalúa agentes de IA en modelado 3D procedural vía código. Resultados, fallos comunes y mejoras con escalado en tiempo de prueba.
Sesgo geográfico implícito en triage médico de LLM
Descubre cómo el idioma de un paciente puede cambiar las recomendaciones de emergencia de los LLM, revelando sesgos geográficos implícitos. Un estudio con Gemini 3.5 Flash.
TECCI: Ediciones complicadas de imágenes recopiladas y curadas
Descubre TECCI, el nuevo benchmark que revela cómo los editores de imágenes con IA fallan en tareas complejas. Resultados sorprendentes y análisis detallado.
BenchEvolver: Síntesis de Tareas Frontera por Evolución de Soluciones
BenchEvolver transforma benchmarks saturados en problemas de código más difíciles, mejorando evaluación de IA con evolución centrada en soluciones.
Repensando los paradigmas de evaluación en entrenamiento certificado IBP
Descubre cómo las fronteras de Pareto y la optimización automatizada revelan rendimientos superiores en entrenamiento certificado.
Aprendizaje independiente en estadística con LLM guiados
Descubre cómo el uso guiado de LLMs en estadística mejora el aprendizaje autónomo y la calibración del conocimiento, superando el simple acceso a la IA.
Dr. DocBench: benchmark completo para análisis de documentos expertos
Descubre Dr. DocBench, el benchmark que expone las limitaciones de los modelos actuales en el análisis de documentos expertos con 65k anotaciones en 52 dominios.