Softmax como atención lineal en prompts grandes: perspectiva basada en medidas
Descubre cómo la atención softmax se aproxima a un operador lineal con prompts grandes, facilitando el análisis teórico y la optimización en transformers.
#prompts grandes