#caché de prefijo

Hacia la inferencia distribuida de LLMs en redes P2P

Descubre cómo el enrutamiento descentralizado con caché de prefijo reduce la latencia en la inferencia distribuida de LLMs en redes P2P, sin coordinación