llama.cpp b9455 alcanza a vLLM: 70 t/s en 2x3090 con Qwen 27B
Descubre cómo llama.cpp b9455 iguala la velocidad de vLLM en 2x3090 con Qwen 27B. 70 t/s en decodificación y prefill ultrarrápido para agentes.
#multi-gpu
APB-V: Acelerando comprensión de videos largos con atención paralela aproximada
Descubre APB-V: acelera la comprensión de videos largos en múltiples GPUs hasta 12.72x sin pérdida de rendimiento. Ideal para modelos multimodales.
SUPREME: Framework Multi-GPU para Evaluación de Desaprendizaje de Imágenes
Descubre SUPREME, framework open-source que acelera evaluación de desaprendizaje en imágenes usando múltiples GPUs. Reproducible y eficiente.