Las redes equivariantes identificables son equivariantes por capas
Descubre cómo redes neuronales equivariantes identificables garantizan equivarianza por capas. Un hallazgo clave para entender simetrías en IA.
#capas
Mínimos locales en redes ReLU de dos capas: un análisis preciso
Descubre cómo se caracterizan los mínimos locales en redes ReLU de dos capas y cómo la sobreparametrización facilita el acceso a mínimos globales.
Atención por capas eficiente: poda de recuperaciones redundantes
Descubre cómo ELA, usando divergencia KL y mapeo cuantil beta, reduce un 30% el tiempo de entrenamiento al podar capas redundantes en atención por capas.
Escalamiento de profundidad con expansión de capas cero/uno
Descubre cómo la expansión de capas cero/uno acelera el entrenamiento hasta 5x y ahorra un 80% de cómputo sin perder rendimiento.
Escalado inverso de profundidad en LLMs por capas similares
Investigación revela que la pérdida escala inversamente con la profundidad en LLMs debido a capas funcionalmente similares. ¿Qué implica para la eficiencia?
Medida de Relevancia Normalizada para Explicar Redes Neuronales
Descubre cómo la medida de relevancia normalizada unifica la explicación de estructuras latentes en redes neuronales, mejorando la transparencia en IA.
Límites de la equivariancia de resolución en operadores neuronales de Fourier
Los Fourier Neural Operators (FNO) no siempre mejoran al cambiar resolución. El aliasing no lineal es el culpable. Aprende la solución.
La estructura de la tarea invierte la codificación de estado por capas en modelos secuenciales
Descubre cómo la estructura de la tarea invierte la codificación de estado en modelos como Transformers y Mamba. Un estudio revela patrones opuestos en paridad y Dyck.
Cómo equilibrar tasas de aprendizaje entre capas en redes neuronales lineales
Descubre cómo equilibrar las tasas de aprendizaje entre capas en redes lineales mejora el rendimiento temprano. Resultados teóricos y experimentales.
Developer Farm obtiene 67.56 en Prueba de Utilidad con IA honesta
Developer Farm obtiene 67.56 en Prueba de Utilidad con una arquitectura IA honesta que evita la Ley de Goodhart. Descubre cómo separan capas y reducen costos.
Memory OS: Stack de memoria de 6 capas para Hermes Agent
Descubre Memory OS, un stack de memoria de código abierto con 6 capas que añade vectores, hechos y wiki auto-curativa sobre Hermes Agent. Totalmente local.
Representación de mezcla de densidades para eliminar puntos voladores en profundidad
MDA elimina puntos voladores en estimación de profundidad usando mezcla de densidades. Mejora bordes, maneja objetos transparentes y cielo sin coste adicional.
Repensando la granularidad: compresión de LLM con SubFit
SubFit comprime LLMs a nivel de submódulos con selección no contigua. Mejora el equilibrio precisión-perplejidad, acelera inferencia y ahorra memoria KV-cache. ¡Más eficiente!
Arquitectura de Computación Nativa de Modelos: El Futuro de los Sistemas
Descubre el marco ICAM para computación nativa de modelos: seis capas, tres leyes y el futuro de los sistemas con LLM.
Un agente comunitario debe recordar antes de actuar
Descubre cómo un agente comunitario debe recordar capas de contexto, permisos y ritmo, no solo el último mensaje. Memoria inteligente para acciones seguras.
Por qué el software de laminado de tu impresora 3D es más importante que la impresora
Descubre por qué el software de laminado es más determinante que tu impresora 3D para lograr piezas perfectas. Consejos clave para optimizar tus impresiones.
Mitigando alucinaciones en LLMs saltando capas decodificadoras
Descubre cómo DeLask reduce las alucinaciones en modelos de lenguaje saltando capas decodificadoras problemáticas, mejorando la fiabilidad y consistencia de las respuestas.
Predicción de propiedades de materiales bicapa apilados
Nuevo método de aprendizaje multimodal predice propiedades de materiales bicapa apilados, acelerando el descubrimiento de nuevos materiales 2D.
TriLens: Detección de Alucinaciones White-Box con Entropía por Capa
Descubre TriLens, un detector white-box que analiza la entropía por capas en modelos de lenguaje para identificar alucinaciones sin muestreo.
ProbeScale: Análisis de Sondas para Optimizar Leyes de Escalado en SLMs
Descubre cómo ProbeScale optimiza SLMs mediante análisis de sondas, seleccionando subredes que reducen hasta 10 veces los parámetros sin perder rendimiento.