Incertidumbre estructural para medir consistencia en razonamiento lógico de LLMs
La incertidumbre estructural mide la consistencia en el razonamiento lógico de LLMs combinando ranking y entropía. Ideal para detectar fallos de fiabilidad.
#evaluación
Cuantificando la consistencia en el razonamiento lógico de LLM
Descubre cómo la incertidumbre estructural mide la consistencia en el razonamiento lógico de los LLM, mejorando la detección de respuestas poco fiables.
MemTrace: Lo que la precisión final oculta en la memoria a largo plazo
MemTrace revela que la precisión agregada oculta fallos críticos en la memoria de agentes LLM: el principal cuello de botella es el uso de la evidencia, no la
SpeechDx: Un gran benchmark para inteligencia artificial en habla clínica
Descubre SpeechDx, el benchmark que evalúa modelos de IA en 27 tareas de habla clínica. ¿Son realmente generalizables? Lee nuestro análisis.
Índice de comorbilidad con aprendizaje automático
MLCI: índice de comorbilidad con machine learning que supera a Charlson y Elixhauser al capturar relaciones no lineales en múltiples resultados clínicos.
MapSatisfyBench: evaluación de agentes de mapas centrados en la satisfacción
Descubre MapSatisfyBench, un benchmark que mide la satisfacción de usuarios con agentes de mapas. Ideal para mejorar la experiencia con IA.
LLM como juez en educación: pipeline de calificación curricular
Descubre cómo un pipeline de LLM como juez, basado en currículos oficiales, mejora la calificación de exámenes con trazabilidad.
SEAGym: Un entorno de evaluación para agentes LLM auto-evolutivos
Descubre SEAGym, el entorno que evalúa la evolución de agentes LLM auto-evolutivos con métricas de entrenamiento, validación, test y costos, evitando
DeepInsight: Evaluación Unificada para el Stack de IA Física
Descubre DeepInsight: infraestructura unificada para evaluar el stack de IA física, diagnosticando regresiones entre capas con una traza compartida.
EComAgentBench: Evaluación de Agentes de Compras con Intenciones Ocultas
El nuevo benchmark EComAgentBench revela que los mejores agentes de compra solo aciertan en el 57.1% de tareas con intenciones ocultas.
LongWebBench: Evaluación estructural y funcional de páginas web largas
LongWebBench: el benchmark definitivo para evaluar la generación de páginas web largas, estructural y funcionalmente, con interacciones ejecutables.
Cómo el cómputo de inferencia define la evaluación de LLMs de frontera
Descubre cómo el presupuesto de cómputo en inferencia impacta los resultados de modelos de lenguaje de frontera. Un estudio revela que evaluaciones con
¿Puede la IA resolver problemas matemáticos de investigación?
Descubre cómo los sistemas de IA se enfrentaron a 10 problemas de matemáticas de investigación. Resultados, soluciones humanas y análisis detallado.
DRFLOW: Benchmark para predecir flujos de trabajo personalizados
Descubre DRFLOW, el benchmark que evalúa la capacidad de los agentes de IA para predecir flujos de trabajo personalizados a partir de fuentes heterogéneas.
ZIVARI-TLBO: Relevo élite evaluado sin costo adicional
Descubre ZIVARI-TLBO, un algoritmo de optimización que mejora TLBO con relevo élite sin costo computacional. Resultados superiores en múltiples funciones.
Evaluación de inferencia LLM en aceleradores IA: Prefill y Decode
Comparativa de inferencia LLM entre GPU y aceleradores emergentes (GroqRack). GPUs ganan en Prefill; GroqRack en Decode (TPOT). ¿Cuándo conviene cada uno?
Evaluación de fugas de datos en agentes LLM con herramientas
Estudio revela que agentes de IA con herramientas filtran datos sensibles incluso en tareas benignas. La seguridad operacional es un riesgo crítico diferente a
¿Los LLM siempre cuentan las mismas historias?
Un estudio revela que los grandes modelos de lenguaje generan historias muy similares entre sí, y las estrategias actuales no logran aumentar su diversidad.
DriveJudge: Repensando la evaluación de conducción autónoma con modelos de lenguaje y visión
DriveJudge: nuevo agente de evaluación que combina razonamiento VLM y reglas físicas para clasificar calidad y seleccionar trayectorias, superando a métricas
ReproRepo: Auditorías de Reproducibilidad Escalables con Issues de GitHub
ReproRepo usa issues de GitHub para auditar la reproducibilidad de papers de ML. Los agentes LLM identifican bloqueos reales en el 90% de los casos.