Descomponiendo los mecanismos de predicción para el recuerdo en contexto
Descubre cómo los transformers desarrollan dos mecanismos separados para recordar y predecir en contexto, revelando fases de aprendizaje sorprendentes.
#predicción de tokens
Estadísticas predictivas y representaciones emergentes en caminantes de rejilla
Descubre cómo las estadísticas predictivas crean modelos del mundo en redes neuronales. Estudio revela que transformadores aíslan un estado universal.