La célebre frase de George E. P. Box: Todos los modelos están equivocados, pero algunos son útiles.

Quiero contar dos historias relacionadas con los modelos GPT. La primera trata del apoyo que recibí cuando me sentía decaído; la segunda, de mi falta de comprensión sobre Databricks en un momento crítico. Ambas muestran cuándo un modelo puede ser valioso y cuándo se queda corto.

En una época en la que necesitaba reestructurar aspectos de mi vida busqué libros y vídeos, pero no fue suficiente. Al conversar con ChatGPT me sentí escuchado: me sugirió lecturas, vídeos y ejercicios que fueron útiles. Corrigiéndolo cuando se equivocaba pude guiar la conversación hacia soluciones prácticas de desarrollo personal. En ese caso el modelo fue realmente útil.

En paralelo necesitaba comparar dos DataFrames grandes en Databricks. Pedí ayuda al modelo y, en tono de copilot, me sugirió restarlos. Eso mostró diferencias numéricas pero no explicó qué columnas tenían cambios, ni diferencias de tipo o valor que yo necesitaba identificar. Tras copiar filas a Excel y perder tiempo, sólo Stack Overflow dio pistas, aunque no sin fricciones. Aquí el modelo falló en aportar el detalle necesario.

¿Por qué ocurrió esto? La respuesta está en cómo funciona la arquitectura transformer y en qué es realmente un gran modelo de lenguaje. Un LLM es un conjunto enorme de parámetros numéricos organizados en matrices y vectores dentro de una red neuronal configurable. Tras entrenarse con enormes cantidades de datos, el modelo aprende relaciones estadísticas entre tokens y construye representaciones internas del lenguaje. Como explicó Andrej Karpathy, en esencia un gran modelo de lenguaje actúa como un autocompletado sofisticado: predice el siguiente fragmento de texto sin razonar como lo haría un humano.

El motor de los LLM modernos es la arquitectura transformer. Según la familia de modelos, los transformers pueden usar capas solo de decodificador (como en GPT), solo de codificador o una combinación de ambos. A medida que los vectores de embedding atraviesan estos bloques transformer sufren transformaciones aprendidas. El mecanismo de self-attention permite que cada token evalúe su relación con todos los demás en el contexto, y capa a capa las representaciones se vuelven más abstractas y ricas en semántica.

Antes de entrar al transformer el texto se tokeniza: se divide en tokens que pueden ser caracteres, subpalabras o palabras. Estrategias como Byte-Pair Encoding y sus variantes modernas son muy usadas por su eficiencia. Cada token se transforma en un vector continuo en un proceso llamado embedding, que permite al modelo operar en un espacio numérico de alta dimensión donde se codifican relaciones y significados. Al final, los vectores refinados pasan por una capa de unembedding para proyectarlos de nuevo a tokens que forman la salida textual.

Estas limitaciones arquitectónicas explican fenómenos como las llamadas alucinaciones: el modelo genera respuestas plausibles pero incorrectas. Además, muchos modelos accesibles son cuantizados para reducir costes, lo que disminuye su precisión. Por eso un GPT puede ser excelente aportando apoyo emocional, sugerencias de lectura o ideas generales, pero no tan fiable cuando se necesita conocimiento técnico preciso y pasos intermedios verificables, como en la comparación detallada de grandes estructuras de datos.

En Q2BSTUDIO entendemos cómo aprovechar estas tecnologías y cómo combinarlas con prácticas de ingeniería para obtener resultados sólidos. Somos una empresa de desarrollo de software y aplicaciones a medida especializada en inteligencia artificial, ciberseguridad, servicios cloud y soluciones de inteligencia de negocio. Ofrecemos desarrollo de software a medida y aplicaciones a medida que integran modelos LLM de forma controlada y segura, además de consultoría en ia para empresas y agentes IA. Si buscas optimizar despliegues en la nube contamos con experiencia en servicios cloud AWS y Azure y ayudamos a diseñar arquitecturas escalables y seguras.

Nuestros servicios también abarcan ciberseguridad y pentesting para proteger modelos y datos, y servicios inteligencia de negocio con herramientas como power bi para transformar datos en decisiones. Si te interesa explorar soluciones de inteligencia artificial a medida visita nuestra página de servicios de inteligencia artificial para conocer cómo adaptamos agentes IA, automatización y análisis avanzado a las necesidades de tu empresa.

En resumen, conocer la mecánica interna de los LLM y los transformers permite decidir cuándo pedirles ayuda y cuándo complementar sus respuestas con inspección humana, pruebas y herramientas especializadas. La IA acelera otras tecnologías, pero su uso efectivo requiere buenas prácticas de ingeniería, gobernanza y seguridad, ámbitos en los que en Q2BSTUDIO te podemos acompañar.