La compresión de modelos de lenguaje de gran escala se ha convertido en un factor crítico para su adopción empresarial, especialmente cuando los costes de inferencia y memoria limitan el despliegue en producción. Las técnicas tradicionales de aproximación de bajo rango aplicadas a capas lineales individuales presentan dos problemas fundamentales: ignoran la arquitectura específica de los transformers y, al descomponer una matriz grande en dos matrices pequeñas, introducen sobrecostes operativos como lanzamientos adicionales de kernels GEMM y operaciones de memoria extra. Frente a este escenario, surge un enfoque analítico que divide cada capa del transformer en tres componentes funcionales —las proyecciones de consulta y clave (QK), la de valor y salida (OV) y la red feed-forward (MLP)— y ofrece soluciones cerradas que reducen la dimensión oculta interna de cada componente minimizando su pérdida funcional. Este método, conocido como A3, no solo disminuye el tamaño del modelo, el caché de claves y valores y los FLOPs sin añadir latencia en tiempo de ejecución, sino que demuestra una superioridad clara frente a otras técnicas de compresión: por ejemplo, al aplicar la misma reducción de cómputo y memoria sobre LLaMA 3.1-70B, se obtiene una perplejidad de 4,69 en WikiText-2, superando en 3,18 puntos al estado del arte anterior. La versatilidad de esta aproximación se extiende a la compresión del caché KV, la integración con cuantización, el ajuste fino y la asignación de rangos mixtos, lo que la convierte en una herramienta estratégica para cualquier organización que busque optimizar sus despliegues de inteligencia artificial. En este contexto, contar con un socio tecnológico que entienda tanto las bases matemáticas de la optimización de modelos como las necesidades prácticas del negocio resulta determinante. En Q2BSTUDIO desarrollamos aplicaciones a medida impulsadas por IA que integran agentes inteligentes, servicios cloud AWS y Azure, y capacidades de inteligencia de negocio con Power BI, siempre acompañadas de una capa sólida de ciberseguridad. La evolución de técnicas como A3 permite que nuestras soluciones de software a medida incorporen modelos más ligeros y eficientes, reduciendo costes operativos y mejorando la experiencia del usuario final. Al mismo tiempo, la combinación de compresión por bajo rango con estrategias de cuantización y fine-tuning abre la puerta a sistemas de servicios cloud AWS y Azure que ejecutan inferencia en tiempo real sin sacrificar precisión. La capacidad de adaptar el grado de compresión por capa, asignando rangos mixtos según la sensibilidad de cada componente, es precisamente el tipo de flexibilidad que requieren los proyectos empresariales de IA para equilibrar rendimiento y coste. En definitiva, la investigación en optimización de transformers no solo avanza el estado del arte académico, sino que proporciona herramientas concretas que empresas como la nuestra pueden incorporar en sus desarrollos para ofrecer soluciones más competitivas y sostenibles.