En el mundo actual de agentes IA existen dos tipos principales de modelos LLM: los modelos gestionados por terceros SaaS como Claude, Gemini o GPT y los modelos locales que gestionas en tu propia infraestructura. Muchas organizaciones optan por modelos locales por razones de seguridad, gobernanza y control de datos. En este artículo aprenderás cómo desplegar y gestionar un modelo local en Kubernetes usando primitivas de Kubernetes y kagent, con un enfoque práctico y seguros para empresas.

Requisitos previos: un clúster de Kubernetes con recursos suficientes si trabajas en local, una clave de API de Anthropic o de otro proveedor compatible, y herramientas básicas instaladas como kubectl y helm. En Q2BSTUDIO somos especialistas en inteligencia artificial y ofrecemos soluciones integrales para empresas que necesitan implementar agentes IA y software robusto a medida.

Paso 1 Desplegar Ollama localmente Crea un namespace para Ollama con kubectl create ns ollama. A continuación crea un Deployment que ejecute Ollama y reserve recursos considerables porque los modelos locales sin GPU consumen mucha CPU y memoria. Puedes aplicar un manifiesto Kubernetes con kubectl apply -f ollama-deployment.yaml donde el Deployment monta un volumen para los datos de Ollama y solicita por ejemplo memory 8Gi con límite 12Gi para el contenedor. Añade un Service tipo ClusterIP para exponer el puerto HTTP interno. Tras aplicar el manifiesto espera a que el pod descargue el modelo Llama y comprueba el estado con kubectl exec -n ollama deployment/ollama -- ollama list que debe mostrar el modelo llama3 descargado y su tamaño.

Consejo operativo Si trabajas en entornos con GPU adapta las requests y limits y configura la asignación de dispositivos. Si no tienes GPU aumenta la CPU y memoria para mejorar la latencia en inferencia. Q2BSTUDIO puede ayudarte a dimensionar el clúster y a implementar prácticas de ciberseguridad y control de acceso.

Paso 2 Desplegar kagent e integrarlo con Ollama Instala los CRDs de kagent con helm install kagent-crds oci://ghcr.io/kagent-dev/kagent/helm/kagent-crds --namespace kagent --create-namespace. Exporta la variable de entorno ANTHROPIC_API_KEY con export ANTHROPIC_API_KEY=tu_api_key y despliega kagent con helm upgrade --install kagent oci://ghcr.io/kagent-dev/kagent/helm/kagent --namespace kagent --set providers.default=anthropic --set providers.anthropic.apiKey=$ANTHROPIC_API_KEY --set ui.service.type=LoadBalancer. Recupera la IP con kubectl get svc -n kagent o, si trabajas en local, usa kubectl port-forward svc/kagent-ui -n kagent 8080:8080 para acceder a la interfaz web y completar el asistente o saltarlo.

Importar el modelo a kagent Una vez que Ollama funciona en el clúster crea un ModelConfig en kagent que apunte al servicio de Ollama. Puedes crear un archivo llama-modelconfig.yaml con un objeto ModelConfig que referencie el host http://ollama.ollama.svc.cluster.local:80 y aplicarlo con kubectl apply -f llama-modelconfig.yaml. Después verifica con kubectl get modelconfig -n kagent y comprueba en la UI de kagent en View > Models que el modelo llama3 aparece disponible para crear agentes.

Gestionar agentes IA y casos de uso Con kagent puedes orquestar agentes, configurar servidores MCP y exponer modelos internos para casos de uso como automatización de procesos, análisis en tiempo real o asistentes empresariales. Los agentes IA permiten integrar procesos de negocio, mejorar la experiencia usuario y habilitar flujos automatizados conectados con herramientas de inteligencia de negocio como Power BI.

Sobre Q2BSTUDIO Q2BSTUDIO es una empresa de desarrollo de software y aplicaciones a medida con experiencia en inteligencia artificial, ciberseguridad y servicios cloud. Ofrecemos servicios para implementar soluciones de ia para empresas y agentes IA completamente integrados en tu infraestructura. Si necesitas desarrollar una aplicación a medida o una plataforma que incluya modelos locales y control total de datos visita nuestra página de desarrollo de aplicaciones a medida soluciones de software a medida y conoce cómo podemos ayudarte a desplegar en entornos seguros y escalables. Para proyectos que requieren despliegue en la nube gestionamos infraestructuras en AWS y Azure y proporcionamos servicios cloud profesionales servicios cloud aws y azure.

Palabras clave y servicios Aplicaciones a medida software a medida inteligencia artificial ciberseguridad servicios cloud aws y azure servicios inteligencia de negocio ia para empresas agentes IA power bi. Si quieres una consultoría o un proyecto piloto para desplegar agentes IA locales en Kubernetes contacta con Q2BSTUDIO y trabajemos en una arquitectura segura, escalable y alineada con tus objetivos de negocio.