Personas sintéticas para evaluar la alineación pluralista en IA
Las personas sintéticas permiten evaluar la alineación pluralista en IA generativa, superando benchmarks únicos y revelando la necesidad de mecanismos dinámicos.
#delos
Poda de redes neuronales post-entrenamiento con curvatura de grafos
Descubre cómo la curvatura de grafos permite podar redes neuronales sin perder precisión. Técnica innovadora basada en Ollivier-Ricci para identificar conexiones clave.
De diagnóstico interno a auditoría externa: defensa contra backdoors con VLM
Conoce PRISM, un marco basado en VLMs que cambia el diagnóstico interno por auditoría externa para neutralizar backdoors con tasa de éxito menor al 1%.
Cuantificando la incertidumbre de modelos fundacionales con SVE
Descubre SVE: incertidumbre calibrada en modelos fundacionales con solo 1% de parámetros extra.
Float8@2bits: compresión de modelos sin datos vía codificación de entropía
EntQuant comprime modelos de 70B parámetros en solo 10 minutos sin datos de calibración, alcanzando SOTA en compresión extrema a 2 bits con codificación de entropía.
dgMARK: Marcado de Agua Guiado por Decodificación para Modelos de Lenguaje de Difusión
Descubre dgMARK: el nuevo marcado de agua guiado por decodificación para modelos de difusión. Protege tu IA fácilmente.
SALAAD: Adaptación dispersa y de bajo rango con ADMM para inferencia de LLM
Descubre cómo SALAAD reduce el consumo de memoria en modelos de lenguaje grandes usando estructuras dispersas y de bajo rango, permitiendo un despliegue flexible sin reentrenamiento.
Adaptadores Kronecker: la importancia del diseño de componentes
Optimiza el ajuste fino de modelos grandes con adaptadores Kronecker. Conoce CDKA, una nueva técnica que mejora la capacidad y eficiencia mediante el diseño estratégico de componentes.
FlexRank: Descomposición Anidada de Bajo Rango para Despliegue Adaptativo
FlexRank extrae submodelos de capacidad variable de modelos sin reentrenar. Optimiza costos y rendimiento para despliegue adaptativo a todo presupuesto.
Evaluación Causal de Ataques de Inferencia de Membresía
Descubre un nuevo enfoque causal para evaluar ataques de inferencia de membresía sin reentrenar, reduciendo sesgos. ¡Ideal para LLMs!
La ilusión de generalización en modelos de lenguaje tabulares
¿Son realmente efectivos los modelos de lenguaje tabulares? Nuestra reevaluación de Tabula-8B muestra que la generalización se debe a artefactos de evaluación, no a aprendizaje real.
Compresión extremo a extremo para modelos tabulares
Descubre cómo TACO comprime datasets tabulares en espacio latente, logrando hasta 94x más rapidez y 97% menos memoria sin perder rendimiento.
El sesgo de inducción en modelos secuenciales
Investigación muestra que los transformers requieren más datos que las RNN para seguimiento de estado y no comparten pesos entre longitudes. Descubre las diferencias clave.
HiPPO Zoo: Memoria Explícita para Modelos de Estado Interpretables
Descubre cómo las extensiones del framework HiPPO ofrecen memoria adaptativa y asociativa en modelos de espacio de estado, manteniendo la interpretabilidad. Un
Descubrimiento progresivo de leyes físicas basado en datos
CoSR descubre progresivamente leyes físicas desde datos, imitando el método científico. Aplicaciones en turbulencia, flujos y aerodinámica.
MENO: Operadores Neurales Mejorados con MeanFlow para Sistemas Dinámicos
Descubre MENO: el nuevo marco que mejora operadores neurales con MeanFlow para predicciones precisas en sistemas dinámicos, con hasta 14x más rapidez que DDIM.
Modelos de Lenguaje Esotéricos: LLMs de Difusión de Cualquier Orden
Eso-LMs: modelos de lenguaje que combinan AR y MDM con atención causal y caché KV, permitiendo generación paralela e inferencia eficiente. Nuevo estado del arte.
Conformal C2ST: Convertir clasificadores débiles en pruebas de dos muestras
Descubre cómo el Conformal C2ST convierte clasificadores débiles en potentes pruebas de dos muestras para validar modelos de inferencia bayesiana.
Estimadores secuenciales de mínimos cuadrados con bosquejo aleatorio rápido
Descubre cómo el método SLSE-FRS combina Sketch-and-Solve e Iterative-Sketching para obtener estimadores de alta precisión en modelos lineales a gran escala.
Reactivando tokens de parche para mejorar el probing en audio
El probing con tokens de parche reactivados supera al costoso fine-tuning en clasificación de audio multi-etiqueta. Descubre este nuevo método ligero y eficiente.