Asignación conjunta y escalable de recursos para inferencia LLM con SLO en nubes GPU
Optimiza la inferencia de LLM con nuestro marco escalable que asigna recursos GPU bajo SLO, logrando soluciones casi óptimas en segundos y reduciendo costes.
#nubes gpu heterogéneas