Unicorn: Escalando predicción de series con correlación universal
Unicorn: framework de IA para predicción de series temporales de alta dimensión con modelado universal de correlación. Supera a modelos en pocos datos.
#preentrenamiento
DTop-p MoE: Control dinámico de esparcidad en preentrenamiento de modelos
Descubre DTop-p MoE, un nuevo mecanismo de enrutamiento dinámico que aprende el umbral de probabilidad para controlar la esparcidad, superando a Top-k y Top-p fijo en modelos fundacionales.
PictSure: La calidad de embeddings es clave para el aprendizaje en contexto
PictSure clasifica imágenes con pocos ejemplos usando aprendizaje en contexto. La calidad de los embeddings pre-entrenados es clave. Modelo open source.
UniRTL: Unificando Código y Grafo para Representaciones RTL Robustas
Descubre cómo UniRTL integra código y grafos CDFG para crear representaciones robustas de RTL, acelerando el diseño de hardware con IA multimodal.
TabCausal: Preentrenamiento en Entornos Causales para Detección Causal en Tablas
TabCausal aprende relaciones causales en datos tabulares con preentrenamiento en múltiples entornos. Supera métodos clásicos, ideal para intervenciones.
Gap-K%: Método para detectar datos de preentrenamiento en LLM
Descubre cómo Gap-K% detecta datos de preentrenamiento en modelos de lenguaje usando la brecha de predicción top-1. Método nuevo que supera a los existentes
El decaimiento de peso mejora la plasticidad de modelos de lenguaje
Descubre cómo un mayor weight decay durante el preentrenamiento puede mejorar la plasticidad de los LLM, generando mejor rendimiento tras el fine-tuning.
DLM-SWAI: Dirigiendo modelos de lenguaje de difusión antes de que se desenmascaren
<meta name=description content=Aprende a dirigir modelos de difusión para lenguaje antes del desenmascaramiento. Técnica avanzada para generación de texto controlada y eficiente.>
Preentrenamiento Procedural: Calentando Modelos de Lenguaje con Datos Abstractos
<meta name=description content=Descubre cómo los datos abstractos optimizan el preentrenamiento procedural de modelos de lenguaje. Mejora representaciones y eficiencia en aprendizaje automático.>
Cuando el preentrenamiento perjudica el ajuste fino de LoRA: un análisis dinámico mediante modelos de índice único
Análisis dinámico revela cómo el preentrenamiento puede perjudicar el ajuste fino de LoRA. Descubre los hallazgos clave.
Nexus: Misma pérdida de preentrenamiento, mejor generalización en tareas posteriores mediante mínimos comunes
Misma pérdida de preentrenamiento, mejor generalización gracias a mínimos comunes. Optimiza tus modelos de IA con este enfoque.
Exposición de datos de preentrenamiento en modelos de lenguaje grandes: Una encuesta sobre inferencia de membresía, contaminación de datos e implicaciones de seguridad
<meta name=description content=Exposición de datos de preentrenamiento en LLMs: riesgos de inferencia, contaminación y seguridad. Aprende sobre las amenazas y cómo mitigarlas.>
Ataques de inferencia de pertenencia en caja negra sobre los datos de preentrenamiento de modelos de generación de imágenes
Ataques de inferencia de pertenencia en caja negra sobre datos de preentrenamiento de modelos de generación de imágenes: análisis de riesgos y vulnerabilidades.
Sobre el papel del sesgo inductivo en el preentrenamiento de series temporales: un estudio de caso en el aprendizaje de representaciones generalizables para series temporales clínicas
<meta name=description content=Descubre cómo el sesgo inductivo y el preentrenamiento mejoran el análisis de series temporales clínicas. Optimiza diagnósticos y predicciones con técnicas avanzadas de machine learning.>
La estabilidad de la distribución singular: Una perspectiva espectral sobre la dinámica de dos fases del preentrenamiento de modelos de lenguaje
Estabilidad espectral en la dinámica bifásica del preentrenamiento de LLMs. Descubre cómo optimizar la convergencia y el rendimiento de modelos de lenguaje grandes.
Descubrimiento Causal en Series Temporales mediante Preentrenamiento Condicionado por el Contexto y Aumentado con Causalidad
<meta name=description content=Descubre cómo el preentrenamiento contextual y el aumento causal mejoran el descubrimiento causal en series temporales. Innovación clave para análisis de datos temporales.>
Comprendiendo el impacto de la temporalidad de los datos en el preentrenamiento de modelos de lenguaje grandes
Analizamos cómo la temporalidad de los datos influye en el preentrenamiento de LLMs. Claves para mejorar el rendimiento y la actualidad de los modelos de lenguaje.