Este artículo presenta un enfoque novedoso para la navegación autónoma marina basado en un marco híbrido de Filtrado Bayesiano y Aprendizaje Profundo por Refuerzo DFRL. El sistema combina la solidez del Filtrado Bayesiano en la estimación del estado con la capacidad adaptativa del Aprendizaje por Refuerzo profundo, superando limitaciones de sistemas tradicionales frente a entornos marinos dinámicos e inciertos. Los resultados de simulaciones con datos reales muestran mejoras significativas en precisión de trayectoria y eficiencia de combustible, demostrando su viabilidad para operaciones autónomas, eficiencia portuaria y seguridad marítima.

Introducción: la navegación costera plantea desafíos por condiciones dinámicas como viento y corrientes variables, además de riesgos cambiantes como otras embarcaciones y escombros. Los controladores convencionales basados en reglas o PID son rígidos y rinden de forma subóptima ante condiciones imprevistas. El marco DFRL propuesto busca dotar a la plataforma de capacidad de aprendizaje continuo, mayor robustez y adaptación en escenarios variados.

Marco teórico y metodología: el enfoque integra dos componentes complementarios. Primero, un filtro de Kalman extendido EKF para estimación robusta del estado que combina lecturas de GPS, IMU, radar y sonar y mitiga ruido y incertidumbre. El EKF realiza predicción del estado y actualización con la ganancia de Kalman para ponderar entre modelo dinámico y mediciones. Segundo, un agente de Deep Q Network DQN que incorpora una red neuronal convolucional CNN para procesar imágenes y mapas de sensores junto con la estimación del EKF. La CNN extrae características relevantes que alimentan la red Q para seleccionar acciones discretas de velocidad y rumbo orientadas a maximizar una función de recompensa que prioriza seguimiento de ruta, evitación de colisiones y minimización del consumo de combustible.

Detalles del agente: el espacio de estado incluye lecturas de radar, sonar, cámara y el estado estimado por el EKF. El espacio de acciones contempla ajustes discretos en velocidad y ángulo de giro. La función de recompensa penaliza desviaciones de la ruta óptima y colisiones, recompensa la aproximación a waypoints y aplica un pequeño castigo por esfuerzo de control para favorecer ahorro de combustible. El aprendizaje se realiza mediante actualizaciones tipo Bellman que ajustan los valores Q para aproximar políticas de control eficientes.

Diseño experimental y datos: las pruebas se llevaron a cabo en un simulador marítimo realista que incorpora olas dinámicas, tráfico simulado y variaciones de visibilidad. Se emplearon conjuntos de datos públicos de radar y cámaras de costas complementados con datos sintéticos para cubrir más condiciones. Como referencia se implementó un controlador PID clásico. La optimización de hiperparámetros del DQN se realizó mediante optimización Bayesiana y se evaluó la robustez ante distintos niveles de ruido y corrupción de sensores.

Resultados: el sistema DFRL superó al controlador PID en métricas clave. La precisión de trayectoria mejoró aproximadamente 25% y el consumo de combustible se redujo alrededor de 15% en las simulaciones realizadas, gracias a políticas de control más suaves y eficientes. Además, el agente mostró mayor resiliencia ante ruido de sensores y pérdida parcial de información, manteniendo un seguimiento de ruta aceptable en condiciones adversas.

Discusión: la combinación del EKF para asegurar una estimación de estado confiable y del DQN con CNN para aprender políticas adaptativas permite un control que se ajusta a condiciones cambiantes sin reprogramación manual. Esta sinergia resulta particularmente útil en entornos costeros complejos y en la operación de rutas autónomas donde la eficiencia energética y la seguridad son críticas.

Conclusiones y trabajo futuro: la investigación valida la eficacia del marco híbrido DFRL para la navegación autónoma marina. Como pasos siguientes se plantea la implementación en prototipos de embarcaciones para pruebas en entornos controlados, la extensión a coordinación multiembarcaciones y la integración con sistemas de gestión del tráfico marítimo. También se investigará la refinación de la función de recompensa mediante optimización multiobjetivo para equilibrar coste operacional, seguridad y eficiencia a largo plazo.

Aspectos prácticos y oferta de Q2BSTUDIO: en Q2BSTUDIO somos una empresa de desarrollo de software y aplicaciones a medida especializada en soluciones de inteligencia artificial y ciberseguridad. Desarrollamos proyectos de software a medida y aplicaciones a medida que integran agentes IA, servicios cloud aws y azure, y herramientas de inteligencia de negocio como power bi para ofrecer soluciones completas a empresas. Nuestro equipo puede adaptar el marco DFRL a necesidades concretas, realizando integración con plataformas en la nube y asegurando la resiliencia mediante prácticas avanzadas de ciberseguridad. Para proyectos que requieran modelos de IA aplicados a la navegación o a otros procesos industriales visite nuestra página de inteligencia artificial y consulte nuestras capacidades de desarrollo de aplicaciones a medida y software a medida.

Palabras clave y servicios: aplicaciones a medida, software a medida, inteligencia artificial, ciberseguridad, servicios cloud aws y azure, servicios inteligencia de negocio, ia para empresas, agentes IA y power bi. Q2BSTUDIO ofrece consultoría, desarrollo a medida y despliegue en entornos cloud para transformar investigaciones como esta en soluciones operativas seguras y escalables.

Comentario final: el enfoque híbrido de Filtrado Bayesiano y Aprendizaje Profundo por Refuerzo representa una vía prometedora para la navegación autónoma marina. Al combinar estimación de estado robusta y políticas adaptativas aprendidas, se abre la puerta a embarcaciones más eficientes, seguras y capaces de operar con menor intervención humana. Q2BSTUDIO acompaña a sus clientes desde la prueba de concepto hasta la puesta en producción, integrando inteligencia de negocio y seguridad para maximizar el valor del proyecto.