SEFT: Ajuste fino disperso para LLMs con evolución de la dispersión
Descubre SEFT, un método de ajuste fino que permite a los LLMs dispersos evolucionar su estructura manteniendo eficiencia. Supera a métodos existentes.
#ciencia computacional
Destilar luego Reemplazar: Modelos Híbridos de Atención Eficientes
DtR transforma transformers preentrenados en modelos híbridos eficientes mediante destilación y reemplazo de capas. Obtén precisión con menor costo computacional.
Planificar, Verificar y Completar: Decodificación Paralela en Modelos de Difusión
Descubre PVF, un nuevo método de decodificación paralela para modelos de difusión que reduce hasta un 65% las evaluaciones de función sin perder precisión.
InftyThink+: Razonamiento eficiente en horizonte infinito con RL
Optimiza el razonamiento infinito-horizonte con InftyThink+ usando RL. Mejora precisión y eficiencia, superando limitaciones del chain-of-thought.
Desaprendizaje rápido a gran escala vía autocorrección de margen
MASC ofrece desaprendizaje rápido a gran escala para modelos de lenguaje, sin reentrenamiento. Mejora la eficiencia y preserva la utilidad. ¡Conoce el método!
FederatedSkill: Aprendizaje Federado para Evolución de Habilidades de Agentes
FederatedSkill: marco de aprendizaje federado para evolución de habilidades de agentes con privacidad. Logra +44.4% éxito y -37.5% costos.
Operadores Neuronales Basados en la Luz: Reflexión, Refracción y Dispersión
Descubre LiNO, un operador neuronal inspirado en la luz que reduce la complejidad espacial de cuadrática a lineal, mejorando la escalabilidad y el rendimiento en PDEs.
Convoluciones cortas dinámicas mejoran los Transformers
Aprende cómo las convoluciones dinámicas mejoran los Transformers con ventajas en eficiencia. Implementación con kernels Triton.
VaSE: Evicción de Caché KV Estocástica Consciente del Valor
Descubre VaSE, un método de evicción de caché KV que protege valores grandes y usa estocasticidad para mejorar precisión en modelos de razonamiento. Reduce memoria 4x sin perder rendimiento.
Predicción rápida y expresiva de múltiples bytes con circuitos probabilísticos
Descubre cómo MTPC acelera LLMs con circuitos probabilísticos, logrando rapidez y expresividad sin pérdida de calidad.
Poda de redes neuronales profundas mediante la distribución de Marchenko-Pastur
Poda de redes profundas con distribución Marchenko-Pastur: precisión mantenida con mínimo ajuste fino. Resultados en ImageNet con ViT y CNNs.
Localidad no implica accesibilidad: reparación de bordes en atención causal
Descubre cómo la atención causal dispersa por bloques puede desconectar tokens adyacentes y cómo reparar los bordes con una solución eficiente.
Algoritmo multifidelidad adaptativo para aprendizaje automático eficiente
Descubre cómo nuestro algoritmo adaptativo multifidelidad reduce hasta 30 veces los costos de generación de datos en química cuántica, mejorando la eficiencia del machine learning.
Optimización eficiente de hiperparámetros para RL en LLMs
Descubre cómo JF-HPO optimiza hiperparámetros en RL para LLMs, logrando hasta 14.9x más eficiencia y mejoras de rendimiento del 5.8% al 111.6%.
SLAT: Recorte Adaptativo de Segmentos en Razonamiento CoT
SLAT: recorte adaptativo por segmentos reduce un 50% la longitud del razonamiento CoT sin perder precisión.
Poda de redes neuronales post-entrenamiento con curvatura de grafos
Descubre cómo la curvatura de grafos permite podar redes neuronales sin perder precisión. Técnica innovadora basada en Ollivier-Ricci para identificar conexiones clave.
L2G-Net: Redes de grafos espectrales local-global con factorización Cauchy
Descubre cómo L2G-Net revoluciona las GNN espectrales con factorizaciones de Cauchy, escalando a grafos grandes con pocos parámetros.
MENO: Operadores Neurales Mejorados con MeanFlow para Sistemas Dinámicos
Descubre MENO: el nuevo marco que mejora operadores neurales con MeanFlow para predicciones precisas en sistemas dinámicos, con hasta 14x más rapidez que DDIM.
IAPO: Optimización de Políticas Informada para Razonamiento Eficiente en Tokens
Descubre IAPO: asigna ventajas a cada token según información mutua. Reduce razonamiento hasta 36% sin perder precisión. Optimiza tus modelos de lenguaje.
PECKER: Borrado eficiente de conocimiento en modelos de difusión
PECKER: método eficiente de desaprendizaje para modelos de difusión. Reduce el tiempo de entrenamiento y mejora el borrado selectivo de conocimiento.