P3-LLM: Un Acelerador NPU-PIM Integrado para Inferencia de LLM en el Borde Usando Formatos Numéricos Híbridos
P3-LLM es un acelerador NPU-PIM para inferencia de LLM en el borde con formatos híbridos. Ideal para dispositivos edge.
#aceleración de inferencia
GETA-3DGS: Poda y cuantización estructurada conjunta automática para el splateado de Gaussianas 3D
<meta name=description content=GETA-3DGS optimiza automáticamente modelos 3DGS mediante poda y cuantización estructurada, logrando mayor eficiencia sin perder calidad.>
Acelerando la inferencia de LLM en TPUs de Google: Logrando aceleraciones de 3X con decodificación especulativa de estilo difusión
<meta name=description content=Aceleración 3X en inferencia de LLM en TPUs gracias a la decodificación especulativa de difusión. Descubre cómo esta técnica optimiza el rendimiento de modelos de lenguaje en hardware especializado.>
Borrador Consciente de la Posición para Aceleración de Inferencia en Recomendación Generativa de Listas Basada en LLM
Aceleración de inferencia en recomendación generativa con borrador consciente de posición. Optimiza el rendimiento y eficiencia de tus sistemas de recomendación.