Índice de Deferencia Epistémica de IA: Medida Continua de Adulación
Descubre el Índice de Deferencia Epistémica (AEDI): una métrica que cuantifica cuánto se pliegan los modelos de IA a la opinión del usuario. Comparativa entre
#evaluación
Estrés en LLMs médicos revela patologías de seguridad ocultas
Las pruebas de estrés narrativo en modelos de lenguaje médico revelan fallos de seguridad ocultos que la precisión no detecta. Conoce más en Q2BSTUDIO.
UniQL: Evaluación universal de dialectos para texto a SQL
UniQL: benchmark humano-verificado con 1,534 preguntas en 16 dialectos SQL. Evalúa la capacidad de generalización de los LLMs. ¡Mejora tu modelo!
Evaluación de agentes interactivos con un juez en línea generador de situaciones
Descubre el innovador método de juez en línea para evaluar agentes sociales generando situaciones, mejorando cobertura y fiabilidad.
Cuando ninguna respuesta es correcta: detección de respuestas ausentes en MLLMs
Los MLLMs fallan al detectar respuestas ausentes en video. Este estudio diagnostica el problema y evalúa la cadena de pensamiento como mitigación.
Más allá de los agentes: Ejecución y reproducibilidad en trading con LLM
¿Son reproducibles los resultados de trading con LLM? Este artículo analiza los supuestos de ejecución y propone estándares para mejorar la comparabilidad.
VESTA: Generación automatizada y evaluación de seguridad para agentes LLM
Descubre VESTA, el nuevo marco automatizado que genera escenarios y evalúa la seguridad de agentes LLM, revelando altos riesgos en su ejecución.
Más allá de la tasa de aprobación: evaluación multilingüe de LLMs de código abierto
Descubre cómo los modelos de código abierto se desempeñan en 12 lenguajes de programación. Analizamos fallos, tasas de aprobación y más en esta evaluación
Marco de Resiliencia como Servicio para respuesta coordinada en tránsito urbano
Evalúa respuestas coordinadas a disrupciones en tránsito urbano con un marco de Resiliencia como Servicio: mejora continuidad, equidad y costos.
Calificación semiautomática de exámenes escritos en papel en educación superior
La IA y modelos de lenguaje con visión permiten calificar semiautomáticamente exámenes escritos a mano, mejorando validez y escalabilidad.
7 pasos esenciales para contratar al talento adecuado
Descubre los 7 pasos clave para contratar al mejor talento. Aprende a definir requisitos y evaluar habilidades. Mejora tu proceso de selección.
LATTEArena: marco de evaluación para ingeniería de características con LLM
LATTEArena: el primer marco competitivo para evaluar ingeniería de características con LLM. Analiza coste-efectividad, rendimiento y robustez con más de 4000
Personalización y Seguridad: Riesgos y Mitigaciones en LLMs Personalizados
Descubre el primer análisis completo de seguridad en LLMs personalizados: mecanismos, riesgos, mitigaciones y evaluación. ¡Protege tus modelos!
ComplexConstraints y más allá: Rúbricas expertas para RLVR
Las rúbricas expertas mejoran la evaluación y entrenamiento de LLMs. Nuevo dataset ComplexConstraints logra +15.5% en seguimiento de instrucciones. ¡Lee más!
De fiable a expresivo: currículo para jueces de seguridad
Mejora la precisión de jueces de seguridad al 94.88% con un currículo de rúbricas dinámicas que reduce la variabilidad entre distintos formatos.
No hay almuerzo gratis para imágenes sintéticas con datos escasos
Descubre cómo los modelos generativos como VAE, GAN y DDPM se comportan bajo escasez de datos y privacidad diferencial. Un análisis de fidelidad, utilidad y
AVI-Bench: Hacia la inteligencia audiovisual humana en MLLMs
Evalúa la inteligencia audiovisual de MLLMs con AVI-Bench: percepción, comprensión y razonamiento. Resultados y taxonomía.
Dataset de preferencias humanas dinámicas para modelos de lenguaje visual
Descubre cómo el nuevo dataset de preferencias humanas dinámicas evalúa la capacidad de los VLMs para adaptarse en tiempo real. Ideal para investigadores en IA.
Más allá del éxito/fracaso: Process Mining revela patrones de ataque a LLMs
Descubre cómo el Process Mining revela patrones ocultos de resistencia y vulnerabilidad en LLMs ante ataques de Red Team, más allá de la simple tasa de éxito.
Más allá de los benchmarks ingleses: evaluación de LLM clínicos en portugués
Descubre cómo se desempeñan los LLM clínicos en portugués brasileño frente al inglés. Análisis del benchmark ClinicalBr en diagnóstico, tratamiento y más.