Dispuesta pero incapaz: Abliteración en LLMs de código
La abliteración elimina la negativa en LLMs de código, permitiendo inyectar vulnerabilidades como SQL injection. Resultados en Qwen2.5-Coder.
#pesos
PC Layer: Preacondicionamiento de Pesos Polinomial para Mejorar el Pre-entrenamiento de LLMs
La capa PC estabiliza el espectro de valores singulares en LLMs, mejorando convergencia sin overhead de inferencia. Optimiza tu pre-entrenamiento.
TailLoR: Protegiendo Componentes Principales en Aprendizaje Continuo
Descubre TailLoR, un método que protege los componentes principales usando descomposición espectral para un aprendizaje continuo eficiente y sin interferencias.
GenFT: Ajuste eficiente generativo para modelos preentrenados
GenFT: método de ajuste fino que genera actualizaciones de pesos condicionadas a pesos originales. Mejora NLP y visión con pocos parámetros.
Leyes de escalamiento y espectros en redes neuronales superficiales
Descubre cómo las leyes de escalamiento en redes superficiales vinculan espectros de pesos y generalización, validando observaciones empíricas.
Leyes de escalado y espectros en redes neuronales superficiales
Descubre cómo las leyes de escalado en redes superficiales explican la generalización mediante el espectro de pesos. Validación teórica.
Escalando Agentes Auto-Evolutivos con Memoria Paramétrica
Marco TMEM: agentes IA auto-evolutivos con memoria paramétrica y LoRA. Aprenden de la experiencia, mejorando su comportamiento sin reinicios.
Miso Labs lanza MisoTTS: modelo TTS emotivo de 8B pesos abiertos
Descubre MisoTTS, el modelo de voz expresiva de 8B parámetros con pesos abiertos. Genera habla natural a partir de texto y audio contexto. ¡Lee más!
TamperBench: Evaluación de seguridad en LLM bajo ajuste y manipulación
Descubre TamperBench, el primer marco unificado para evaluar la resistencia de LLMs a manipulaciones y ajustes finos. Resultados clave y código abierto.
Transmutar prompts en pesos: edición directa de modelos de IA
Nuevo algoritmo transforma prompts en vectores y matrices de peso para editar modelos de lenguaje. Ahorra tiempo y mejora el control sin reentrenar.
SFMP: Cuantización mixta fina y sin búsqueda para LLMs
SFMP: cuantización mixta sin búsqueda y amigable con hardware para LLMs. Reduce costos y mejora eficiencia.
El poder expresivo de las redes equivariantes en el espacio de pesos
Descubre cómo las redes equivariantes a permutaciones pueden mejorar hasta un 34% el rendimiento en tareas de aprendizaje de pesos. Un análisis teórico completo
HalfNet: Redes Neuronales Aleatorias con Geometría de Subespacio
Descubre HalfNet, la red neuronal que aprende la geometría de sus pesos aleatorios. Reduce parámetros sin perder precisión en MNIST y CIFAR-10.
AlphaQ: Asignación de bits sin calibración para cuantización de MoE
Descubre AlphaQ, un método sin calibración que asigna bits a expertos en MoE basado en la pesadez espectral. Logra compresión 4x con precisión casi total.
Psicometría en SLMs: artefactos de prompt, no constructos psicológicos
Descubre por qué los SLMs miden artefactos de prompt, no rasgos psicológicos. Un estudio revela cómo los sesgos de cumplimiento dominan las evaluaciones.
WaterSIC: Cuantización lineal casi óptima (teoría de la información)
WaterSIC: algoritmo de cuantización casi óptimo que supera a GPTQ. Nuevo récord en LLMs Llama y Qwen para 1-4 bits. ¡Mejora la eficiencia!
Aprendizaje sin entrenamiento: Dinámica implícita del aprendizaje en contexto
Descubre cómo los transformers aprenden en contexto sin entrenamiento: la dinámica implícita que modifica pesos MLP durante la inferencia.
Bloqueo de signos: persistencia y cuello de botella sub-bit
Los signos de pesos inicializados persisten y crean un cuello de botella en compresión sub-bit. Descubre la teoría de bloqueo de signos y un nuevo método.
Qift: Cuantificación W2 sin cero para inferencia de LLM rotados
Descubre Qift: un método de cuantificación sin cero para pesos de 2 bits que mejora la precisión y eficiencia en inferencia de LLM rotados. Simple y sin entrenamiento.
Regularización de las GANs de Wasserstein
Descubre cómo una regularización débil mejora el entrenamiento de Wasserstein GANs, superando problemas de convergencia y optimizando la restricción Lipschitz.