La forma de la suma: estructuras geométricas de la aritmética en LLMs
Descubre cómo los LLMs representan la suma geométricamente y por qué cometen errores. Un nuevo estudio revela la estructura oculta de la aritmética.
#aritmética
El redondeo estocástico aumenta los valores singulares pequeños
El nuevo estudio muestra que el redondeo estocástico regulariza todo el espectro de valores singulares, no solo los más pequeños.
BRo-JEPA: Aprendizaje de Aritmética Modular en Espacio Latente
BRo-JEPA logra 99.46% de precisión en aritmética modular sin entrenamiento. Aprende cómo generaliza reglas algebraicas.
Asignar y Sumar: Estudio mecanicista de aritmética composicional
Estudio mecanicista revela cómo los transformers aprenden aritmética modular y asignación de variables para generalizar combinaciones no vistas. ¡Entra!