La seguridad es contextual, los LLM-jueces no: Navegando sesgos rígidos
Descubre por qué los LLM-jueces tienen sesgos rígidos y no se adaptan a contextos cambiantes de seguridad. Un estudio revela sus limitaciones.
#jueces
De fiable a expresivo: currículo para jueces de seguridad
Mejora la precisión de jueces de seguridad al 94.88% con un currículo de rúbricas dinámicas que reduce la variabilidad entre distintos formatos.
Cherry-pick Override: Compromiso direccional no seguro en LLM
Cuando la evidencia es mixta, los jueces LLM ignoran la opción CONFLICTING y eligen un bando. Conoce este fallo de seguridad y sus soluciones.
Metric Match: selección de subconjuntos para fiabilidad de LLM
Metric Match: método de selección de subconjuntos que reduce un 32.5% las anotaciones humanas al evaluar fiabilidad de jueces LLM. Ahorra miles en casos
Metric Match: Selección de subconjuntos para evaluar la fiabilidad de LLM
Metric Match reduce un 32% las anotaciones humanas para evaluar fiabilidad de jueces LLM, mejorando precisión y ahorrando costos.
Los jueces LLM tienen corriente oscura: ficha psicométrica
Descubre cómo medir la corriente oscura y los sesgos en los jueces LLM con un nuevo protocolo psicométrico. Mejora la evaluación de modelos de IA.
Más allá de la corrección: mejorando el razonamiento arquitectónico en LLMs de código
Descubre cómo un pipeline de juicio agente mejora el razonamiento arquitectónico en LLMs de código, logrando hasta un 540% de mejora en SWE-bench. ¡Lee más!
RealMath-Eval: Por qué la IA no entiende el razonamiento humano
Descubre por qué los mejores modelos de IA fallan al evaluar razonamiento matemático real, revelando una brecha con datos sintéticos.
Estabilidad vs. Manipulabilidad: Robustez en Jueces de IA
¿Son confiables los jueces de IA? Este estudio revela que aunque estables, pueden revertirse con desafíos posteriores, afectando rankings y preferencias humanas.
Ranking consciente de jueces para evaluar LLMs sin verdad de campo
Descubre cómo este marco de ranking consciente de jueces mejora evaluaciones de LLMs sin etiquetas de referencia, optimizando fiabilidad y eficiencia.
Trampa de saturación: fallo de disparadores afectivos y LLM en agentes autónomos
Descubre por qué los disparadores afectivos y LLM fallan en agentes autónomos. La trampa de saturación y subjetividad revelan baja fiabilidad.
CoEval: ranking de modelos sin datos ni benchmarks confiables
Descubre CoEval: un framework que evalúa y rankea modelos de lenguaje sin necesidad de datos etiquetados ni benchmarks fiables. Resultados limpios y por solo $5.89.