Introducción: La deposición de películas finas por evaporación mediante haz de electrones es una técnica clave en microelectrónica, óptica y protección anticorrosiva. Sin embargo, lograr control preciso de espesor, uniformidad y composición exige ajustes finos de parámetros que suelen realizarse de forma manual y empírica. Presentamos un enfoque automatizado basado en aprendizaje por refuerzo adaptativo, concretamente Q-Learning, para optimizar en tiempo real los parámetros críticos de un evaporador e-beam de anodo rotatorio en alto vacío.

Resumen de la propuesta: El sistema tiene por objetivo mejorar la utilización de material en un 15, reducir el tiempo de deposición en un 10 y elevar la calidad de la película ante variaciones geométricas del substrato. La solución integra sensores de temperatura, microbalances de cristal de cuarzo QCM para medición en tiempo real del espesor y un sistema de visión para inspección de uniformidad, junto con un agente Q-Learning implementado en Python que modela la función Q mediante una red neuronal de tres capas.

Definición del entorno y estados: El entorno incluye rangos operativos para temperatura del substrato entre 25 y 350 °C, velocidad de deposición entre 0.1 y 5.0 angstrom por segundo y corriente de haz entre 10 y 50 mA. Los estados discretos se agrupan por tramos de estas variables y las observaciones incorporan además presión de cámara y métricas de uniformidad obtenidas por visión artificial.

Diseño del agente y acciones: El agente ofrece acciones discretas para ajustar temperatura, tasa de deposición y corriente del haz en pasos pequeños o mantener el estado actual. La red neuronal que aproxima la función Q recibe como entrada las lecturas de estado y devuelve valores Q asociados a cada acción posible, permitiendo seleccionar la acción con mayor expectativa de recompensa.

Función de recompensa: La función de recompensa combina múltiples objetivos operativos para guiar el aprendizaje: recompensa positiva por alcanzar el espesor objetivo dentro de un margen del cinco por ciento y por mantener uniformidad con desviación estándar menor al diez por ciento de la media; penalizaciones moderadas por pérdida de integridad del vacío, por temperaturas fuera de rango y por desviaciones de composición detectadas por análisis de superficie. Esta recompensa multiobjetivo permite que el agente trade off entre velocidad, rendimiento de material y calidad de la película.

Protocolo experimental: Para la validación se propone el depósito de aluminio sobre substratos de silicio con rotación controlada. El agente se entrena en múltiples corridas experimentales abarcando diferentes espesores objetivo y configuraciones de sujeción y focalización. La exploración se realiza mediante estrategia epsilon greedy con decrecimiento controlado y una política de explotación que favorece acciones con Q altas a medida que progresa el entrenamiento.

Datos y análisis: Durante cada corrida se registran temperatura del substrato, tasa de deposición, corriente de haz, presión de cámara, espesor medido por QCM, uniformidad por visión y tensiones residuales. Se realiza seguimiento de la media móvil exponencial de las recompensas para evaluar convergencia. La caracterización postdepósito incluye microscopía electrónica de barrido SEM y difracción de rayos X XRD para verificar microestructura y propiedades cristalinas. El análisis de datos se implementa con bibliotecas Python como Pandas, NumPy y SciPy para detectar correlaciones y optimizaciones del proceso.

Formulación matemática en términos operativos: El agente actualiza sus estimaciones Q combinando el valor Q previo con la recompensa obtenida y la estimación del mejor valor Q futuro, modulados por una tasa de aprendizaje y un factor de descuento que pondera la importancia de recompensas futuras. Este esquema permite que la política de control evolucione hacia comportamientos que maximicen el rendimiento acumulado en múltiples deposiciones.

Resultados esperados y verificación: Los ensayos comparativos frente a control manual muestran mejoras sostenidas en utilización de material, reducción de tiempos y mayor consistencia en espesor y uniformidad. La robustez se verifica variando condiciones iniciales, cambiando materiales como titanio y oro, y alternando tipos de substrato. La verificación incluye pruebas de repetibilidad y caracterización sistemática por SEM y XRD.

Escalabilidad y hoja de ruta: A corto plazo se validará la estrategia Q-Learning en la configuración Al sobre Si y se ajustará la función de recompensa y los hiperparámetros del agente. A medio plazo se ampliará a otros materiales y substratos y se desarrollará un modelo predictivo que traduzca requisitos de salida en parámetros upstream. A largo plazo se integrará la solución con plataformas cloud y arquitecturas de aprendizaje distribuido para coordinar agentes en múltiples evaporadores.

Ventaja competitiva y aportes técnicos: Esta propuesta supera los sistemas tradicionales basados en setpoints fijos al introducir una optimización adaptativa capaz de aprender políticas eficientes sin requerir modelos físicos completos del proceso. El uso de una red neuronal para aproximar la función Q permite gestionar espacios de estado más complejos y mejorar la precisión del control en tiempo real.

Integración con servicios de Q2BSTUDIO: En Q2BSTUDIO somos especialistas en desarrollo de software y aplicaciones a medida, ofreciendo soluciones que combinan inteligencia artificial, ciberseguridad y servicios cloud para llevar proyectos industriales de control y automatización desde el prototipo hasta la operación en producción. Podemos adaptar el agente Q-Learning a su equipamiento integrando telemetría, paneles de control y pipelines de datos seguros en la nube. Si su objetivo es incorporar capacidades de IA para optimizar procesos industriales descubra nuestras propuestas de IA para empresas y cómo aplicamos agentes IA a problemas reales.

Servicios complementarios: Además de la inteligencia artificial ofrecemos desarrollo de aplicaciones a medida y software a medida para integrar sistemas de control y visualización, servicios de ciberseguridad y pentesting que protegen la infraestructura crítica, y soluciones de servicios cloud aws y azure para despliegue escalable. También trabajamos servicios inteligencia de negocio y power bi para explotar los datos de proceso y convertirlos en dashboards accionables que mejoran la toma de decisiones operativas.

Palabras clave: aplicaciones a medida, software a medida, inteligencia artificial, ciberseguridad, servicios cloud aws y azure, servicios inteligencia de negocio, ia para empresas, agentes IA y power bi.

Conclusión: La aplicación de aprendizaje por refuerzo adaptativo a la evaporación por haz de electrones ofrece una vía práctica para automatizar y optimizar procesos de deposición de películas finas, reduciendo desperdicio y tiempo de producción mientras mejora la calidad del recubrimiento. Q2BSTUDIO acompaña en todo el ciclo de desarrollo, desde diseño del agente y la instrumentación hasta integración en la nube y analítica avanzada, habilitando soluciones llave en mano que combinan innovación en inteligencia artificial con prácticas robustas de ingeniería y ciberseguridad.