Encontrar el artículo adecuado no tiene por qué ser como buscar una aguja en un pajar. Las búsquedas por palabras clave pierden contexto, los títulos pueden inducir a error y los resúmenes usan vocabulario distinto para la misma idea. El Copiloto de Investigación Académica resuelve esto con búsqueda semántica híbrida sobre ArXiv combinando incrustaciones vectoriales con filtros sencillos para que puedas formular preguntas reales y obtener artículos relevantes rápidamente. Este artículo describe el problema, la arquitectura que se implementó y cómo puedes ejecutar o ampliar la solución tú mismo.

Resumen rápido Ingesta de metadatos de ArXiv en DuckDB Crear una Knowledge Base en MindsDB Generar embeddings para título y resumen Consultas en lenguaje natural para obtener artículos similares semánticamente Servicio mediante FastAPI y una interfaz Streamlit

Caso de uso: investigación que parte de una pregunta Los investigadores suelen comenzar con una pregunta y no con una palabra clave. Por ejemplo: privacidad en aprendizaje federado, modelos de difusión para imágenes médicas o variantes eficientes de atención en transformers. La búsqueda semántica usa embeddings para encontrar contenido conceptualmente similar y la búsqueda híbrida añade filtros de metadatos como autores, año o categorías para afinar resultados.

Arquitectura general 1) Recuperar artículos de ArXiv y almacenarlos en una tabla papers en DuckDB. 2) Registrar ese archivo DuckDB dentro de MindsDB. 3) Crear una Knowledge Base configurada para incrustar título y resumen. 4) Poblar la KB mediante inserciones desde DuckDB; MindsDB genera embeddings automáticamente. 5) Exponer APIs limpias con FastAPI; Streamlit consume esas APIs y muestra resultados.

Ingesta de datos Se utiliza la librería arxiv en Python para obtener resultados por tópico y normalizar cada registro en un esquema consistente con campos clave como entry_id, title, summary, authors, published_date, pdf_url y categories. El script crea la tabla en DuckDB si es necesario y realiza upsert para evitar duplicados.

Knowledge Base y embeddings El flujo conecta el archivo DuckDB dentro de MindsDB y crea una KB llamada academic_kb cuyos embeddings se construyen sobre título y resumen. En este proyecto se usa un modelo de embeddings moderno y se inicializa mediante la variable de entorno GEMINI_API_KEY. La KB almacena vectores y metadatos; campos de consulta como relevance y distance ayudan a ordenar resultados. Si la KB no está disponible, la aplicación degrada a una búsqueda textual en DuckDB para mantener la funcionalidad.

Consultas: semántica e híbrida Toda la lógica de consulta está centralizada para soportar búsqueda semántica básica, búsqueda basada en umbral de relevancia y búsqueda híbrida que combina consulta semántica con filtros de autor, año o categoría. Los filtros pueden aplicarse en SQL directamente o realizarse como posprocesado en Python según convenga.

Servicio: FastAPI y Streamlit Se exponen endpoints REST para búsquedas y para recuperar metadatos de artículos; la interfaz Streamlit consume esos endpoints para mostrar lista de resultados con títulos, autores, resúmenes, enlaces y puntuaciones de relevancia. Esta separación mantiene la interfaz ligera y el backend reutilizable.

Cómo ejecutarlo localmente Se puede ejecutar con Docker o en modo local. Primero hay que configurar la variable de entorno para el proveedor de embeddings y luego poblar la KB la primera vez, operación que puede tardar varios minutos por la descarga de artículos y la generación de embeddings. Posteriormente las ejecuciones son mucho más rápidas.

Qué hace efectiva a esta solución Recuperación semántica: permite encontrar documentos conceptualmente cercanos aunque el vocabulario difiera. Control híbrido: filtra por autor, año o categoría para ajustar la precisión. Enfoque local y reproducible: DuckDB y MindsDB son fáciles de contenerizar y desplegar con modelos de embeddings. API limpia: pocos endpoints bien definidos para integrar en otras interfaces o flujos de trabajo.

Próximos pasos y extensiones Reranking: añadir un reranker cross encoder o un LLM para reordenar los mejores candidatos. Entendimiento de consultas: implementar reescritura de preguntas y sinónimos. Resúmenes: generar TLDR y conclusiones clave por artículo bajo demanda. Colecciones: permitir que los usuarios guarden, etiqueten y exporten listas de lectura.

Sobre Q2BSTUDIO En Q2BSTUDIO somos una empresa de desarrollo de software y aplicaciones a medida especializada en crear soluciones adaptadas a las necesidades de cada cliente. Ofrecemos servicios que van desde desarrollo de aplicaciones y software a medida hasta consultoría en inteligencia artificial, ciberseguridad y arquitecturas cloud. Si necesitas una solución personalizada para investigación, gestión de conocimiento o automatización, podemos ayudarte con experiencia en aplicaciones a medida, software a medida, ia para empresas y agentes IA. Con equipos expertos en ciberseguridad y pentesting garantizamos despliegues seguros y cumplimos con las mejores prácticas en protección de datos.

Servicios destacados Integración de modelos de lenguaje e embeddings para búsquedas semánticas y sistemas de recomendación. Desarrollo de pipelines de datos y conocimiento con almacenamiento local y gestión de embeddings. Despliegue en la nube y gestión de infraestructuras en plataformas como AWS y Azure para escalabilidad y resiliencia.

Si buscas partners para llevar esto a producción, en Q2BSTUDIO diseñamos e implementamos soluciones completas que incluyen desarrollo, despliegue y operaciones. Conecta con nuestro equipo para explorar proyectos de desarrollo y desarrollo de aplicaciones y software a medida o para aprovechar nuestros servicios de inteligencia artificial aplicados a tu negocio incluyendo integración con soluciones de Business Intelligence y Power BI.

Conclusión El Copiloto de Investigación Académica es una forma práctica y local de incorporar búsqueda semántica a los flujos de trabajo de investigación. Es ligero, rápido de poner en marcha y fácil de extender. Si estás investigando un tema nuevo o profundizando en una revisión bibliográfica, este enfoque te ahorrará tiempo y te ayudará a descubrir resultados más relevantes. En Q2BSTUDIO estamos listos para implementar y adaptar esta solución a tus necesidades en software a medida, inteligencia artificial, ciberseguridad y servicios cloud aws y azure.