Rompiendo límites de entropía: Acelerando RL con MTP y muestreo por rechazo
Descubre cómo nuestro método Bebop acelera el entrenamiento RL hasta 1.8x mediante MTP y muestreo por rechazo, alcanzando tasas de aceptación del 95%.
#tasa de aceptación
KnapSpec: Decodificación Especulativa con Selección Adaptativa de Capas
KnapSpec acelera inferencia LLMs hasta 1.47x sin entrenamiento. Selecciona capas adaptativas como problema mochila. Optimiza rendimiento en secuencias.
Pérdidas LK: optimización directa de aceptación para decodificación especulativa
Optimiza la tasa de aceptación con pérdidas LK en decodificación especulativa, logrando hasta un 10% más de longitud.