Resumen: Esta investigación presenta un sistema innovador de interfaz cerebro-computadora BCI que utiliza el marco de proceso de decisión de Markov MDP para el control ambiental adaptativo de personas con cuadriplejia. El sistema procesa señales EEG en tiempo real para decodificar la intención del usuario y traducirla en comandos que controlan dispositivos asistivos del entorno. Un agente de aprendizaje por refuerzo RL optimiza dinámicamente la correspondencia entre patrones EEG y acciones de control, adaptándose a la variabilidad individual y a la dinámica del entorno. El objetivo es ofrecer una tecnología asistiva robusta, intuitiva y personalizada que maximice la independencia y la calidad de vida del usuario. En este artículo se detalla la formulación MDP, la implementación del algoritmo RL y la validación experimental que muestra mejoras significativas en precisión y respuesta frente a métodos BCI tradicionales, con potencial de comercialización rápida en mercados de tecnología asistiva.

Introducción: La cuadriplejia limita drásticamente la capacidad de interacción con el entorno y puede conducir a aislamiento y pérdida de autonomía. Las BCI ofrecen una vía para recuperar control y comunicación al permitir operar dispositivos mediante la actividad cerebral. No obstante, los enfoques convencionales adolecen de sensibilidad a la variabilidad entre usuarios, colocación de electrodos y al ruido intrínseco de EEG. Proponemos un sistema BCI basado en un MDP que incorpora aprendizaje automático RL y controles ambientales adaptativos para optimizar precisión y velocidad de interfaz en pacientes con cuadriplejia.

Marco teórico: Un MDP modela la toma de decisiones secuencial mediante un espacio de estados S, un espacio de acciones A, una función de transición P(sprim|s,a), una función de recompensa R(s,a,sprim) y un factor de descuento gamma. En nuestro caso S representa estados EEG preprocesados, A incluye acciones de control ambiental como encender luz o ajustar volumen, P se estima empíricamente durante entrenamiento y adaptación, y R incentiva acciones que alcanzan el objetivo deseado. El agente RL utiliza Q-learning con actualización Q(s,a) = Q(s,a) + alpha [R(s,a,sprim) + gamma * maxaprim Q(sprim,aprim) - Q(s,a)], donde alpha es la tasa de aprendizaje y gamma es el factor de descuento.

Materiales y métodos: Adquisición EEG y preprocesado: Señales recogidas con un headset de 64 canales a 256 Hz. Preprocesado incluye filtrado banda 0,5 a 40 Hz, eliminación de artefactos por ICA y extracción de características mediante densidad espectral de potencia PSD en bandas alfa, beta y theta usando el método de Welch con ventana Hanning. El vector de características resultante define el estado s.

Formulación MDP e implementación RL: El espacio de estados discreto se obtiene agrupando vectores PSD mediante K-Means con K=8 para un equilibrio entre granularidad y eficiencia. El espacio de acciones A agrupa comandos predefinidos para el hogar inteligente. Se parte de una política exploratoria inicial para estimar valores Q y el agente interactúa iterativamente, observando estados EEG, ejecutando acciones y recibiendo recompensas. La función de recompensa usada fue +1 por acción correcta y -0,1 por acción incorrecta o inacción. Se emplearon alpha = 0,1 y gamma = 0,9 en Q-learning.

Protocolo experimental: Cinco participantes con cuadriplejia realizaron sesiones de entrenamiento de 30 minutos en un entorno simulador de hogar inteligente con luces, televisor y termostato. Se les pidió imaginar las acciones correspondientes a los comandos. Tras el entrenamiento se registró la precisión y se realizaron 10 intentos por participante con tareas aleatorias para evaluar desempeño.

Resultados: El sistema MDP-RL mostró mejoras significativas frente a un enfoque baseline basado en umbrales EEG. Precisión baseline 68,2 ± 5,1 por ciento frente a MDP-RL 87,5 ± 4,3 por ciento con p menor a 0,001. Tiempo de respuesta baseline 1,2 ± 0,3 s frente a MDP-RL 0,8 ± 0,2 s con p menor a 0,001. La significancia estadística se evaluó con test t pareado.

Discusión: Los resultados evidencian que la integración de MDP y RL permite personalizar el mapeo entre señales EEG y acciones, compensando variaciones eléctricas y de estado mental del usuario. La naturaleza adaptativa del agente optimiza la precisión y reduce latencia, lo que se traduce en mayor independencia funcional para personas con cuadriplejia. Los retos incluyen la carga computacional para entrenamiento en tiempo real y la necesidad de sesiones de calibración iniciales, aunque la tendencia de mejora y escalabilidad es clara.

Conclusión: Se presenta un sistema BCI MDP-RL para control ambiental adaptativo que aprende y se adapta a las características individuales del usuario, consiguiendo aumentos significativos en precisión y velocidad de conexión. La arquitectura es compatible con despliegues comerciales y puede integrarse en soluciones de asistencia domiciliaria y de salud.

Trabajo futuro: Extender controles ambientales más complejos, explorar algoritmos RL avanzados como Deep Q-Networks para espacios continuos, desarrollar un dispositivo BCI portátil para despliegue en entornos reales, y estudiar escenarios multiusuario y control colaborativo.

Detalles técnicos adicionales: El cálculo PSD utilizado sigue la expresión PSD f = 1 2 pi fs abs FFT x 2 con x señal EEG y fs frecuencia de muestreo. La reducción dimensional mediante K-Means facilita el aprendizaje en espacios de estados discretos y permite convergencia estable de Q-learning tras ajuste de tasa de aprendizaje alpha y de la función de recompensa.

Sobre Q2BSTUDIO: Q2BSTUDIO es una empresa de desarrollo de software y aplicaciones a medida especializada en inteligencia artificial, ciberseguridad y soluciones cloud. Ofrecemos servicios personalizados que incluyen desarrollo de aplicaciones multiplataforma, soluciones de IA para empresas, agentes IA y consultoría en servicios inteligencia de negocio. Nuestra experiencia cubre desde software a medida hasta implementaciones seguras en servicios cloud aws y azure y despliegues de Business Intelligence con Power BI. Diseñamos sistemas escalables y seguros, combinando capacidades de ciberseguridad y pentesting con arquitectura de software robusta.

Servicios y palabras clave: En Q2BSTUDIO integramos aplicaciones a medida y software a medida con soluciones avanzadas de inteligencia artificial para empresas, agentes IA, servicios inteligencia de negocio y power bi. También proporcionamos servicios cloud aws y azure y estrategias de ciberseguridad para proteger implementaciones BCI y sistemas IoT. Para proyectos que requieran desarrollo específico de interfaz neurotecnológica y plataformas de control ambiental puede interesar explorar nuestras soluciones de inteligencia artificial aplicadas al control adaptativo y automatización.

Comentario final: La combinación de BCI, MDP y RL abre una vía prometedora para tecnologías asistivas que aprendan con el usuario. Q2BSTUDIO está preparada para colaborar en el diseño e implementación de prototipos y productos finales, integrando software a medida, inteligencia artificial, seguridad y servicios cloud para llevar soluciones desde el laboratorio hasta el mercado con enfoque en usabilidad, rendimiento y protección de datos.