DREAM-S: Decodificación especulativa para generación multimodal
Acelera la generación multimodal con DREAM-S, un novedoso método de decodificación especulativa que alcanza 3.85x de velocidad en VLMs.
#multimodal
Conflictos de optimización entre reidentificación por imagen y texto
Descubre cómo resolver conflictos de optimización entre ReID por imagen y texto. Un entrenamiento desacoplado mejora representaciones compartidas.
¿Los agentes multimodales realmente se benefician del uso de herramientas?
Un estudio revela que el uso de herramientas en agentes multimodales no siempre mejora su rendimiento. Descubre los sorprendentes resultados.
PaSBench-Video: benchmark de video para advertencias proactivas de seguridad
¿Pueden los modelos multimodales advertir peligros en video antes de que ocurran? PaSBench-Video pone a prueba su precisión temporal. Descubre los resultados.
Moment-Video: Fidelidad temporal de MLLM en eventos visuales momentáneos
Moment-Video evalúa la capacidad de MLLM para captar eventos visuales que duran solo unos fotogramas. Resultados sorprendentes.
AdaCodec: Un Código Visual Predictivo para Video MLLMs
AdaCodec reduce tokens visuales en video MLLMs hasta 1/7, mejorando benchmarks y reduciendo tiempo de primera respuesta de 9.26s a 1.62s.
Mitigando el sesgo perceptual en LLMs multimodales como jueces
Descubre cómo un nuevo método de perturbación perceptual y modelado de recompensa corrige el sesgo en evaluaciones de LLMs multimodales. Más preciso y alineado con humanos.
Espejismo de seguridad: Correlaciones espurias y desaprendizaje en VLM
Aprende cómo las correlaciones espurias en VLM crean un espejismo de seguridad y cómo el desaprendizaje reduce ataques y rechazos innecesarios.
InPhyRe: Grandes modelos multimodales fallan en razonamiento físico inductivo
Descubre el nuevo benchmark InPhyRe revela: modelos multimodales fallan en razonamiento físico inductivo, cuestionando su fiabilidad en aplicaciones críticas.
TIGER: Mitigación de alucinaciones en generación multimodal
TIGER reduce alucinaciones en generación multimodal mediante enrutamiento gráfico de evidencia. Repara hechos falsos en imágenes, audio y video manteniendo la calidad.
MindZero: Razonamiento Mental Online sin Anotaciones
MindZero revoluciona el razonamiento mental en IA al aprender sin anotaciones. Descubre cómo supera a métodos tradicionales en precisión y velocidad.
El futuro de la IA climática es multimodal
La IA multimodal combina satélites, texto y datos estructurados para validar riesgos climáticos, superando las limitaciones de las tablas. Una nueva era.
Interacción de modalidades en MLLMs: descomposición parcial
Entiende cómo la PID descompone la interacción entre modalidades en MLLMs, identificando sinergia y redundancia. Clave para mejorar razonamiento y grounding en IA.
Grandes modelos de lenguaje en gestión de transporte
Los LLMs mejoran la gestión de sistemas de transporte integrando datos heterogéneos para soporte de decisiones multimodal. ¡Descubre cómo!
Predicción de propiedades de materiales bicapa apilados
Nuevo método de aprendizaje multimodal predice propiedades de materiales bicapa apilados, acelerando el descubrimiento de nuevos materiales 2D.
Modelo de predicción multimodal para alerta temprana en matemáticas avanzadas
Predice el rendimiento en matemáticas avanzadas con análisis multimodal y alerta temprana. Intervenciones personalizadas.
Diagnóstico del deterioro cognitivo con atención contrafactual guiada por atlas
Descubre GCAN, modelo de atención contrafactual para diagnóstico explicable del deterioro cognitivo usando conectomas multimodales. Preciso y transparente.
Planktonzilla: Dataset y modelos para ecosistemas de plancton
Descubre Planktonzilla-17M, el dataset más grande de imágenes de plancton. Mejora la clasificación de especies con IA y supera a modelos base como BioCLIP.
CoCoVideo: Benchmark de alta calidad para detectar videos generados por IA
Descubre CoCoVideo-26K, un benchmark contrastivo con videos reales y generados por IA comerciales. Ideal para detectar deepfakes de alta calidad.
Destilación guiada por ruido visual para desaprender modelos multimodales
Descubre cómo VGID usa ruido visual y destilación para eliminar conocimiento no deseado en modelos multimodales sin perder rendimiento.