El poder oculto del factor de escala en la optimización LoRA
Descubre por qué el factor α en LoRA es clave para una optimización eficiente, superando al learning rate. Aprende a ajustarlo con la nueva ley de raíz cuadrada.
#hiperparámetros
Micro-pretraining por etapas: experimentos pequeños, decisiones baratas
Descubre cómo la promoción escalonada en micro-pretraining reduce costos de GPU y evita decisiones engañosas. Un caso práctico con resultados replicables.
Marco adaptativo para magnetosfera de púlsares con redes Kolmogorov-Arnold
Descubre las redes Kolmogorov-Arnold que mejoran precisión y rapidez en simulaciones de magnetosfera de púlsares, reduciendo errores y tiempo de entrenamiento.
mlr3mbo: Optimización Bayesiana en R
Descubre mlr3mbo, la potente caja de herramientas para optimización Bayesiana en R. Soporta mono y multiobjetivo, paralelización y más. ¡Comparado con HEBO, SMAC3, Ax y Optuna!
Optuna TPE con restricciones: generalización de densidad conjunta de c-TPE
Descubre cómo Optuna implementa el TPE con restricciones como una generalización de densidad conjunta, mejorando la optimización de hiperparámetros. ¡Lee más!
GIF: Planificación inteligente para HPO en alta dimensionalidad
Descubre cómo el algoritmo GIF optimiza hiperparámetros en alta dimensión, logrando mejor convergencia y eficiencia.
Marco de evaluación y comparación de métodos de detección de deriva de conceptos
Marco de evaluación para detección de deriva de conceptos. Nuevas métricas y protocolos. Resultados de benchmark en 7 datasets.
56 optimizadores puestos a prueba en inferencia variacional
Descubre la comparativa de 56 optimizadores para inferencia variacional. Más de 550,000 ejecuciones revelan los mejores sin ajuste manual.
Selección adaptativa de prior en bandidos Gaussianos con Thompson
Descubre cómo seleccionar adaptativamente el prior en bandidos de procesos Gaussianos con Thompson Sampling. Dos algoritmos innovadores: PE-GP-TS y HP-GP-TS par
Synthics: Datasets sintéticos de física para machine learning
Descubre Synthics, un método que genera datasets sintéticos imitando ecuaciones físicas reales para mejorar el entrenamiento de modelos de ML. Validado con el corpus de Feynman.
Synthics: Datasets sintéticos similares a física para Machine Learning
Descubre cómo generar datasets sintéticos con estructura física mediante gramática bayesiana. Validado con Feynman, optimiza hiperparámetros en ML.
Profundidad sobre fidelidad en estrategias evolutivas ruidosas
Descubre cómo el método PEM prioriza la profundidad sobre la fidelidad en estrategias evolutivas ruidosas, mejorando la optimización con presupuesto fijo en RL e hiperparámetros.
Twin: ajuste de tasa de aprendizaje y decay sin validación
Twin ajusta LR y weight decay sin validación, logrando error absoluto medio del 1.28%. Ideal para datos escasos o imágenes médicas. ¡Optimiza!
Rompiendo la barrera del ajuste: análisis multi-esquina sin hiperparámetros
Descubre cómo un modelo fundacional elimina la necesidad de ajustar hiperparámetros en el análisis multi-esquina, reduciendo costos de validación en más de 10x.
Cribado factorial escalonado para micro-pretrain con presupuesto limitado
Descubre cómo el cribado factorial escalonado identifica penalizaciones altas en micro-pretrain con presupuesto limitado. Ahorra costos de GPU con una metodología centrada en modelos puente.
Aprendizaje de características en Gated Delta Networks a escala
Descubre cómo las Gated Delta Networks logran transferencia estable y eficiente de tasa de aprendizaje al escalar con nuevas reglas de parametrización.
Importancia de Hiperparámetros en Espacios Condicionales con CondPED-ANOVA
Descubre cómo CondPED-ANOVA estima la importancia de hiperparámetros en espacios condicionales. Ideal para optimizar modelos de IA.
ALMAB-DC: Aprendizaje Activo y Bandidos para Optimización Secuencial
ALMAB-DC: optimiza experimentos costosos con aprendizaje activo y bandidos. Acelera hasta 7.5x y supera benchmarks (93.4% en CIFAR-10).
Optimización de hiperparámetros con costo de muestreo reducido
Los priors informativos reducen hasta un 90% el costo de muestreo en optimización de hiperparámetros, manteniendo la calidad. Un avance para AutoML ecológico.
BBOmix: Benchmark para optimización de hiperparámetros en representación biológica no supervisada
Descubre BBOmix, el primer benchmark abierto para optimizar hiperparámetros en representación biológica no supervisada con 105,000 evaluaciones en datos multi-ómicos reales.