Burlar al camaleón: desacoplamiento contrafáctico para cambios en streaming
Descubre cómo el método LPCD burla a los atacantes 'camaleón' que cambian tácticas en streaming, usando desacoplamiento contrafáctico para evaluar riesgos.
#valuación
Gate AI: Metodología y resultados de evaluación de seguridad en LLM
Descubre la metodología rigurosa de Gate AI para evaluar detectores de inyección y jailbreaks en LLM con umbral único y 16 benchmarks. Resultados sin sesgos.
Alucinaciones sintéticas, ganancias reales: negativos duros para mitigar FIM
Descubre cómo los modelos frontera generan alucinaciones sintéticas como negativos duros para entrenar modelos de código y reducir alucinaciones +18.8%.
IdEst: Evaluando Representaciones SSL con Dimensión Intrínseca
Descubre cómo IdEst, basado en dimensión intrínseca, evalúa representaciones SSL de forma eficiente, reduciendo costos computacionales y sin necesidad de etiquetas.
IdEst: dimensión intrínseca para evaluar representaciones SSL
IdEst evalúa representaciones SSL con dimensión intrínseca: métrica geométrica que correlaciona con el rendimiento downstream. Ahorra tiempo en evaluación.
Link Prediction o Perdición: Semillas de Inestabilidad en Embeddings
Los modelos de embedding de grafos son fiables? Este estudio revela inestabilidad en predicciones debido a semillas aleatorias. Conoce las limitaciones del MRR.
Mitigación del Crédito Falso en RL con Rúbricas
GEAR soluciona la propagación de crédito falso en RL con rúbricas mediante agregación gráfica probabilística. Logra mejoras de hasta 15.5% en HealthBench, WritingBench y PLawBench.
Predicción de enlaces o perdición: inestabilidad en embeddings de grafos
Los modelos de embedding (KGEM) generan predicciones inestables en grafos de conocimiento. Las semillas aleatorias y la configuración afectan la fiabilidad. ¿Cómo solucionarlo?
Skill-RM: Unificando Criterios Heterogéneos con Habilidades de Agente
Skill-RM unifica criterios heterogéneos usando habilidades de agente para optimizar LLMs en entrenamiento posterior. ¡Prueba el nuevo modelo!
FinStressTS: Benchmark Sintético para Pronóstico Financiero
Descubre FinStressTS, un benchmark sintético que revela por qué modelos fallan en pronósticos financieros. Aprende sobre volatilidad, saltos y regímenes.
Adversarial ML para LLMs: ¿sin avance real?
El Adversarial ML para LLMs no progresa: problemas vagos, complejos y difíciles de medir. Conoce las razones y el riesgo de una década perdida.
Similitud funcional con ensamblado consciente de invarianza
Descubre cómo la invarianza en el ensamblado de modelos revela discrepancias funcionales ocultas y mejora la evaluación de similitud en deep learning.
Nuevo marco para rechazos de ciberseguridad en agentes de IA
Solo 2 de 8 modelos frontier rechazan tareas ofensivas. Presentamos el primer marco para definir cuándo los agentes de IA deben negarse en ciberseguridad.
Inestabilidad en la dirección de puntuación en detección de anomalías
La detección de anomalías con división de clases puede ser inestable. Un nuevo método sin entrenamiento (fuga de vecindad) predice la inestabilidad. Descubre cómo afecta a modelos en CIFAR-10 y más.
Psi-Bench: Evaluación de la influencia persuasiva sensible a la personalidad
Nuevo benchmark Psi-Bench evalúa cómo los LLM persuaden según el perfil del usuario. La personalización mejora un 18% la efectividad.
Protocolos de evaluación con pruebas de aceptación para LLM empresariales
Aplica protocolos de evaluación basados en pruebas de aceptación para sistemas LLM seguros, confiables y alineados con el negocio.
Preentrenamiento de modelos de lenguaje en textos históricos
Descubre TypewriterLM, un modelo de lenguaje de 7.24B parámetros entrenado con textos anteriores a 1913. Supera desafíos de calidad y fuga temporal.
«Debes darme crédito»: Ataques de inyección en calificación con LLM
Protege tu sistema de calificación: conoce los ataques de inyección de instrucciones en LLM y cómo mitigarlos.
AnyAudio-Judge: Benchmark con rúbricas dinámicas para audio
Descubre AnyAudio-Judge, el nuevo benchmark con rúbricas dinámicas para evaluar instrucciones de audio.
Discriminación de evaluadores IA: depende del protocolo de puntuación en decisiones clínicas
¿Sabías que los evaluadores de IA pueden discriminar mejor con rúbricas? Descubre cómo el protocolo de puntuación afecta la evaluación de decisiones clínicas complejas.