Inferencia válida con datos sintéticos mediante intercambiabilidad de tareas
¿Cómo usar datos sintéticos sin sesgos? Descubre la intercambiabilidad de tareas, un nuevo método para inferencias válidas en investigación científica con IA.
#juez
Evaluación automatizada de la creatividad en modelos de lenguaje
Nuevo marco automatizado evalúa la creatividad de modelos de lenguaje en tareas abiertas: mide novedad, diversidad y cumplimiento.
Generación de documentación de código con LLMs y evaluación multi-juez
Genera documentación de código automática con LLMs y evalúala con múltiples jueces IA. Optimiza calidad y reduce esfuerzo en software sanitario.
El Mentiroso Confiado: Diagnóstico con Log-Probabilidades y LLM en Debate Multi-Agente
¿Los modelos de IA mienten? Este estudio usa log-probabilidades y juez LLM para evaluar razonamiento en debates multi-agente y detectar fallos críticos.
Puntos ciegos del LLM como juez en agentes transaccionales multi-turno
Los LLM como jueces fallan: solo detectan el 22% de los defectos. Conoce los puntos ciegos y cómo afectan a agentes transaccionales multi-turno.
Correcto se ve mejor: comparaciones por pares muestran rankings precisos
Las comparaciones por pares con Elo generan rankings de precisión casi perfectos en modelos de IA, minimizando sesgos de estilo y juez. ¡Descúbrelo!
Juez LLM en producción: lecciones de la auditoría empresarial
Descubre cómo un Juez LLM independiente evita errores de agentes en auditorías empresariales. Lecciones prácticas de implementación con LangGraph.
Estabilidad vs. Manipulabilidad: Evaluando Robustez en Jueces LLM
Los jueces LLM son estables en reevaluaciones neutrales, pero vulnerables a retos dirigidos. El ERS mide su robustez interaccional. Conoce sus implicaciones.
SAGE: Gobernanza y Evaluación Escalable de IA
Descubre SAGE, el framework que combina juicio humano y LLM para evaluar la relevancia en búsquedas a gran escala, con 92% menos costo y +0.25% de usuarios activos en LinkedIn.
Tamaño del conjunto de calibración para LLM como juez: ¿50 o 200?
¿50 o 200 trazas? Aprende a determinar el tamaño de muestra para validar un LLM como juez según el balance de clases. La clave está en el kappa de Cohen.
POLARIS: Guiando modelos pequeños a escribir historias largas
POLARIS entrena modelos pequeños (9B) para escribir historias largas y de calidad, usando un juez LLM y referencias humanas. Compite con modelos mucho mayores.
Reproducir, analizar y detectar reward hacking en RL con rúbricas
Aprende cómo CHERRL reproduce y detecta reward hacking en RL con rúbricas, identificando sesgos del juez LLM para entrenar IA más segura.
Cómputo de inferencia calibrado por distribución para LLM como juez
Descubre cómo el cómputo de inferencia calibrado por distribución mejora la fiabilidad de LLM como juez, reduciendo errores y superando métodos tradicionales de votación.
Más allá del matching: Evaluación semántica de extracción de tablas PDF
Descubre cómo la evaluación semántica con LLM supera a TEDS y GriTS en precisión, con correlación humana de 0.93. Benchmark de 21 parsers PDF.
Mitigando el sesgo perceptual en LLMs multimodales como jueces
Descubre cómo un nuevo método de perturbación perceptual y modelado de recompensa corrige el sesgo en evaluaciones de LLMs multimodales. Más preciso y alineado con humanos.
BADGER: Unificando evaluación determinista y agentiva para razonamiento empresarial
Descubre BADGER, el marco unificado de Merkle que integra evaluación de SQL y agentes en IA empresarial, con métrica híbrida y 87.3% de precisión.
GLIDE: Inferencia basada en predicciones para evaluar sistemas GenAI
GLIDE: biblioteca Python que combina anotaciones humanas y predicciones de LLM para evaluar sistemas GenAI y agentes sin sesgo, ahorrando costos de anotación.
Diagnóstico de fiabilidad de LLM como juez con IRT
Descubre cómo diagnosticar la fiabilidad de los LLM como jueces usando la teoría de respuesta al ítem (IRT) para evaluar consistencia y alineación con expertos humanos.
SCOUT: Razonamiento Pre-hoc para Defensa Adaptativa contra Inyección de Prompts
Descubre SCOUT: defensa dinámica contra inyecciones de prompts, reduce ataques 46% y mejora eficiencia.
REAL: Aprendizaje por Refuerzo Consciente de Regresión para Juez LLM
REAL: nuevo método de RL con regresión que mejora la evaluación de LLMs. Aumenta correlación hasta +18. Ideal para desarrolladores de IA.