Reactivando tokens de parche para mejorar el probing en audio
El probing con tokens de parche reactivados supera al costoso fine-tuning en clasificación de audio multi-etiqueta. Descubre este nuevo método ligero y eficiente.
#fine-tuning
BAT: Transformer de Audio mejorado con Probing Convexo de Compuerta
Conoce BAT, el Transformer de Audio que usa Probing Convexo de Compuerta (CGP) para lograr nuevos récords en benchmarks de audio. ¡Entra!
StreamingVLM: Comprensión en tiempo real para transmisiones de video infinitas
StreamingVLM revoluciona la comprensión de video en tiempo real: procesa flujos infinitos con solo 8 FPS en un H100, superando a GPT-4O mini. ¡Descubre su arquitectura!
Arquitectura dualencoder con fusión Choquet en clasificación acústica submarina
Descubre cómo la nueva arquitectura dual-encoder con fusión Choquet mejora la clasificación acústica submarina, ofreciendo precisión e interpretabilidad.
Ajuste fino sin olvidar el aprendizaje en contexto: modelos de atención lineal
Descubre cómo afinar modelos de atención lineal sin perder el aprendizaje en contexto. Consejos teóricos para mejorar el rendimiento zero-shot.
RefLoRA: Adaptación de Bajo Rango Refactorizada para Modelos Grandes
Descubre RefLoRA, una nueva técnica de fine-tuning que acelera la convergencia y mejora el rendimiento de modelos grandes con mínimo costo computacional.
Receta simple: Modelos VLA, aprendices continuos naturales con RL
El fine-tuning secuencial con LoRA vence a métodos CRL complejos en modelos VLA: alta plasticidad, sin olvido catastrófico.
Calibrando la incertidumbre en CLIP adversarial zero-shot
Descubre nuevo método de fine-tuning adversarial para CLIP calibra la incertidumbre y mejora robustez sin perder precisión en clasificación zero-shot.
PRISM: LoRA diferencialmente privada con invariancia gauge
Descubre PRISM, un mecanismo de privacidad diferencial para LoRA que evita la amplificación de ruido. Mejora la privacidad sin sacrificar utilidad.
CANARY: Detección de contaminación oculta en modelos de lenguaje
Descubre CANARY, el primer método que detecta contaminación oculta en modelos de lenguaje con solo dos pases, incluso al 1% de envenenamiento. Protege tu IA.
LLMs y Alzheimer: Fine-tuning y probing para detección temprana
Descubre cómo los LLMs como BERT, T5 y Llama se adaptan para detectar Alzheimer mediante fine-tuning y probing, logrando nuevos récords en datasets clínicos.
Escalado de PEFT: hacia millones de modelos personales
Descubre cómo el escalado de PEFT permite crear millones de modelos personales persistentes sobre modelos base compartidos, transformando el fine-tuning en un sustrato compacto y eficiente.
ProjQ: Compresión de LLM con Cuantización y Adaptadores
ProjQ revoluciona la compresión de LLMs al proyectar el ruido de cuantización en un subespacio de bajo rango. Obtén modelos más ligeros y eficientes con fine-tuning mejorado.
GNMR: Control de estabilidad en tiempo real para entrenar LLM en baja precisión
Descubre GNMR, un controlador ligero que estabiliza el entrenamiento de modelos de lenguaje en baja precisión sin cambiar el formato numérico. Mejora la calidad y reduce costes.
Multi-respuesta: clave para generalización en modelos de lenguaje
Descubre cómo el entrenamiento con múltiples respuestas mejora la generalización de modelos de lenguaje, evitando la lotería de modos. Guía práctica.
El aprendizaje subliminal es un artefacto de LoRA
El aprendizaje subliminal en modelos de lenguaje es un artefacto de LoRA: un fenómeno frágil que depende del rango y contexto, y desaparece con fine-tuning completo.
Aprendizaje Subliminal: Destilación de Vectores de Dirección
El aprendizaje subliminal en modelos de lenguaje se produce por la destilación de un vector de dirección. Te explicamos este fascinante fenómeno y sus implicaciones.
Adaptación preservadora de fundamentos con optimización Rayleigh
Descubre FoLoRA: optimización mediante cociente de Rayleigh que preserva capacidades base mientras adapta modelos a tareas específicas. Máximo rendimiento sin olvido.
RLVR sin muestras ineficaces: POPO para razonamiento LLM
POPO elimina muestras ineficaces acelerando el fine-tuning de LLM para razonamiento matemático, planificación y geometría visual con menos rollouts.
AlphaToken: Valoración de Tokens para Post-Entrenamiento de LLMs
AlphaToken mejora el post-entrenamiento de LLMs al valorar tokens, evitando el olvido catastrófico y enfocando el aprendizaje en tokens valiosos.