Intervalos de clasificación para líderboards: marco jerárquico para evaluación de modelos
Este marco jerárquico construye intervalos de rango con garantías estadísticas para evaluar modelos en líderboards, manejando la incertidumbre entre tareas.
#rango
Operadores Neurales de Fourier con puntos de rango-1 y cruz hiperbólica
Mejora la eficiencia de los FNO usando puntos de red rango-1 y cruz hiperbólica: menos parámetros, menos muestras, más precisión en PDEs.
EinSort: Solo ordenar para tensorizar LLMs
EinSort: ordenando índices para tensorizar LLMs. Descubre estructuras de rango bajo y comprime pesos y KV-cache con mejor calidad. ¡Optimiza tus modelos!
LEAF: Post-entrenamiento eficiente de LLMs de voz con RL en árbol
Descubre LEAF, un método RL que asigna ventajas por tramos en LLMs de voz. Supera a GRPO en QA y traducción, incluso con modelos más pequeños. ¡Lee más!
Entrenando un MoE disperso de 120B con escalado reversible
Aprende a entrenar un MoE de 120B parámetros en un solo nodo GPU usando escalado reversible y cuantización. Optimiza memoria y alcanza pérdida de 1.78.
Fundamentos Reversibles: Escalado de Preservación de Estado para MoE de 120B
Entrena un MoE de 120B en una sola máquina con 8 GPUs usando reversibilidad y escalado preservador de estado. Eficiencia sin precedentes.
Diversidad de tareas y aprendizaje en contexto en subespacios
Descubre cómo la diversidad de tareas de entrenamiento mejora el aprendizaje en contexto en transformers lineales. Un análisis teórico con subespacios de baja dimensión.
SigmaScale: Compresión de LLM con SVD y matrices de escala aprendidas
Descubre SigmaScale, método para comprimir LLMs con descomposición SVD y matrices de escala aprendidas. Reduce costo computacional sin perder rendimiento.
LoRA-DA: Inicialización eficiente con datos para adaptación de bajo rango
LoRA-DA mejora la precisión y estabilidad del fine-tuning con inicialización consciente de datos. Descubre cómo el análisis asintótico optimiza la adaptación de bajo rango.
LoRi: Destilación de Bajo Rango para Razonamiento Implícito
Descubre LoRi: destilación de bajo rango que mejora el razonamiento implícito en LLMs, acercándose a cadenas de pensamiento explícitas.
LoRi: Destilación de Bajo Rango para Razonamiento Implícito
Descubre LoRi, un método que utiliza destilación de bajo rango para mejorar el razonamiento implícito en modelos de lenguaje, superando a técnicas anteriores.
TailLoR: Protegiendo Componentes Principales en Aprendizaje Continuo
Descubre TailLoR, un método que protege los componentes principales usando descomposición espectral para un aprendizaje continuo eficiente y sin interferencias.
OLIVE: Aprendizaje incremental online bajo rango para exoesqueletos adaptativos
OLIVE: aprendizaje incremental de bajo rango para exoesqueletos. Logra 13% más suavidad, 22% menos esfuerzo y mayor estabilidad en terrenos. ¡Descúbrelo!
TLA-Prover: Síntesis verificable de TLA+ con optimización por preferencias
Descubre TLA-Prover, el modelo de IA que sintetiza especificaciones TLA+ verificables con un 30% de tasa de éxito, superando en 3.5x a los modelos previos.
Compresión de bajo rango guiada por Pareto y activaciones para LLM/VLM
Optimiza LLM/VLM con compresión de bajo rango informada por activaciones y guiada por Pareto. Logra mayor eficiencia sin sacrificar precisión.
Recover-LoRA: Recuperando precisión en cuantización agresiva de 2 bits
Recover-LoRA recupera hasta 95% de precisión en modelos de 2 bits usando adaptación de bajo rango y destilación con solo 10k datos sintéticos.
Recover-LoRA: Recuperando precisión en modelos de 2 bits
Recover-LoRA recupera hasta un 95% de precisión en modelos de lenguaje cuantizados a 2 bits usando destilación de conocimiento con datos sintéticos. Ideal para despliegue en edge.
AttnRegDeepLab: Clasificación interpretable de fragmentación embrionaria
Descubre AttnRegDeepLab, un marco de IA que combina segmentación y clasificación para evaluar fragmentación embrionaria con precisión clínica y explicabilidad.
Tomografía por diseño: enfoque algebraico para estados cuánticos de bajo rango
Nuevo algoritmo algebraico para tomografía de estados cuánticos de bajo rango, usando observables. Eficiente y con garantías deterministas.
Hyper-ICL: Destilación Hiperbólica para Aprendizaje Multimodal en Contexto
Descubre Hyper-ICL, un método ligero que elimina la necesidad de demostraciones en ICL multimodal, calibrando la atención con destilación hiperbólica para mejorar precisión y estabilidad.