Capa Dominante ZO: Una sola capa domina el ajuste fino de orden cero de LLMs
Descubre cómo una sola capa domina el ajuste fino ZO en LLMs, mejorando rendimiento y acelerando hasta 4.5x. Identifícala antes de entrenar.
#fine-tuning
Contexto más largo, razonamiento más profundo
Descubre cómo mejorar la capacidad de contexto largo en modelos de lenguaje antes del fine-tuning supervisado incrementa significativamente la precisión en tare
ChatSOP: Marco MCTS guiado por SOP para agentes de diálogo LLM controlables
ChatSOP mejora la controlabilidad de agentes de diálogo LLM: marco MCTS guiado por SOP logra un 27.95% más de precisión en acciones. Léelo.
TANDEM: Optimización Bilevel de Mezcla de Datos con Redes Gemelas
Descubre TANDEM, un método que optimiza las proporciones de datos por dominio usando redes gemelas para mejorar el rendimiento de modelos de lenguaje grandes.
Influencia encubierta entre modelos de lenguaje
Descubre cómo los modelos de lenguaje pueden influirse entre sí de forma encubierta, propagando comportamientos sin dejar rastros visibles. Analizamos interfaces y mitigaciones.
LCSHBench: Un benchmark multilingüe para la asignación de LCSH
LCSHBench: benchmark multilingüe de consenso para asignar encabezamientos de materia. Mejora catalogación automática con fine-tuning embeddings.
Generación automática de títulos para papers con modelos de lenguaje
Descubre cómo los modelos de lenguaje como PEGASUS y ChatGPT generan títulos precisos y creativos para papers. Comparativa y métricas de evaluación.
ReLoRA: Adaptación rápida reutilizando conocimiento para servicios LLM
ReLoRA acelera la reutilización de adaptadores LoRA para servicios LLM en evolución, reduciendo tiempos de preparación hasta 8.9x y mejorando precisión un 4.6%.
FSA-GRPO: Cómo entrenar LLMs auditivos con pocos ejemplos
Descubre cómo FSA-GRPO entrena modelos auditivos con aprendizaje por refuerzo para mejorar el reconocimiento de voz usando pocos ejemplos.
SEFT: Ajuste fino disperso para LLMs con evolución de la dispersión
Descubre SEFT, un método de ajuste fino que permite a los LLMs dispersos evolucionar su estructura manteniendo eficiencia. Supera a métodos existentes.
Typhoon: Estrategia de enmascaramiento adaptativo para modelos de lenguaje
Typhoon propone un enmascaramiento basado en gradientes para modelos de lenguaje. ¿Supera al enmascaramiento aleatorio? Los resultados no muestran mejoras significativas.
Reino Unido obliga a Google a permitir exclusión de búsqueda con IA
La CMA del Reino Unido obliga a Google a dar control a editores sobre su contenido en funciones de IA como AI Overviews. Descubre los detalles.
BYORn: Genera tus propias respuestas para defender modelos de visión-lenguaje
Descubre BYORn, método que protege modelos visión-lenguaje durante fine-tuning contra ataques backdoor, mejorando robustez.
FGRPO: Aprendizaje Federado con Agregación Adaptativa en Datos No IID
FGRPO: fine-tuning privado de modelos de lenguaje con agregación adaptativa en datos no IID. Mejora el razonamiento sin exponer datos.
Alucinaciones sintéticas, ganancias reales en modelos de código
Genera ejemplos sintéticos sin ejecución para mitigar alucinaciones en autocompletado. +18.8 EM en Delulu.
Alucinaciones sintéticas, ganancias reales: negativos duros para mitigar FIM
Descubre cómo los modelos frontera generan alucinaciones sintéticas como negativos duros para entrenar modelos de código y reducir alucinaciones +18.8%.
DECA: Descentralizando el Ajuste Fino Completo de LLMs
Descubre DECA, el ajuste fino completo descentralizado para LLMs con Adam por bloques y datos no IID.
Ajuste de instrucción visual alinea modalidades por abstracción
Descubre cómo el ajuste visual alinea imágenes y texto en modelos de lenguaje, optimizando el rendimiento multimodal sin aumentar el tiempo de entrenamiento.
GRZO: Optimización de orden cero para ajuste fino de LLMs
Descubre GRZO, el optimizador que reduce la varianza en el ajuste fino de LLMs, mejorando precisión y ahorrando memoria GPU.
PSViT: Metodología de poda estructural para Spiking Vision Transformers
Aprende cómo PSViT comprime SViT con poda estructural: 22% menos memoria y alta precisión.