Del aislamiento al enredo: ¿Separación de conceptos en interpretabilidad?
Los métodos de interpretabilidad (SAEs, sondas) buscan separar conceptos, pero manipular características afecta múltiples conceptos, desafiando la independencia
#coder
HELVAE: Autoencoders Multimodales con Divergencia Hellinger
Descubre cómo HELVAE mejora los autoencoders multimodales usando la divergencia Hellinger para representaciones latentes más expresivas y mejor equilibrio entre coherencia y calidad.
Los circuitos de modelos de lenguaje son dispersos en la base de neuronas
Descubre cómo las neuronas MLP son tan dispersas como los autoencoders dispersos, permitiendo trazar circuitos causales en modelos de lenguaje sin coste adicional de entrenamiento.
Marco VAE unificado para separación de espacio latente y evaluación robusta
Descubre cómo el framework bfVAE unifica modelos VAE para separar espacios latentes, con nuevas métricas FVH-LT y DBSR-LS que evalúan la interpretabilidad sin factores reales.
Autoencoder Federado con Privacidad para ECG en Dispositivos Edge
Descubre cómo combinar aprendizaje federado, privacidad diferencial y cuantización INT8 para detectar anomalías en ECG en dispositivos edge, manteniendo alta precisión. ¡Lee más!
Detección de anomalías ECG con autoencoder federado y privacidad en edge
Aprende cómo un sistema federado con autoencoder, privacidad diferencial y cuantización INT8 detecta anomalías en ECG en edge, cumpliendo GDPR.
Descubrimiento Discreto de Conceptos entre Capas para Modelos de Lenguaje
CLVQ-VAE logra interpretar modelos de lenguaje con precisión humana del 78% y elimina conceptos clave reduciendo la precisión hasta un 93%. ¡Descúbrelo!
Descubrimiento Discreto de Conceptos entre Capas para Interpretar Modelos de Lenguaje
Descubre cómo CLVQ-VAE revela conceptos discretos en modelos de lenguaje, mejorando la interpretabilidad con hasta 93% de precisión en eliminación de conceptos.
DeepRHP: VAE híbrido para diseñar heteropolímeros que imitan proteínas
Descubre cómo DeepRHP, un autoencoder variacional híbrido, diseña heteropolímeros que imitan proteínas para estabilizar membranas celulares.
Conceptos latentes cuantizados vectoriales: alternativa escalable al clustering
Descubre VQLC, alternativa escalable al clustering para descubrir conceptos en LLMs con alta coherencia.
DeepRHP: diseño de heteropolímeros aleatorios como imitaciones de proteínas
Descubre DeepRHP, un autoencoder variacional híbrido que diseña heteropolímeros aleatorios para imitar proteínas. Una revolución en biología sintética y ciencia de materiales.
FronTalk: generación conversacional de código front-end con feedback multimodal
Descubre FronTalk, benchmark para generación de código front-end con feedback multimodal. Conoce el olvido en modelos y la solución AceCoder.
Sondas dispersas y física turbia: interpretabilidad en modelos de dinámica continua
Descubre cómo un autoencoder disperso revela los desafíos de interpretabilidad en un modelo fundacional de dinámica continua y sus discrepancias físicas.
ICA Lens: Interpretando modelos de lenguaje sin entrenar otro diccionario
Descubre cómo ICALens usa ICA para encontrar direcciones interpretables en LLMs sin entrenar diccionarios, superando a los SAEs en eficiencia y sondas.
Características inestables y dependencia de semillas en SAEs
Descubre cómo las características inestables en autoencoders dispersos no son ruido, sino parte de subespacios reproducibles. Un estudio clave para la interpretabilidad de redes neuronales.
SpikeDecoder: Arquitectura GPT mediante redes neuronales de picos
Descubre SpikeDecoder, una implementación completamente SNN del decoder Transformer que reduce el consumo energético hasta un 93%. Eficiencia en NLP.
Spatial-Omni: Comprensión de audio espacial en LLM multimodales con FOA
Descubre Spatial-Omni, método ligero que integra audio espacial FOA en LLM multimodales, mejorando localización y razonamiento espacial. Supera a modelos existentes.
Spatial-Omni: Comprensión de audio espacial en LLMs con codificación FOA
Spatial-Omni integra audio espacial en LLMs multimodales con codificación FOA. Mejora localización y razonamiento espacial. ¡Descúbrelo!
Análisis mecanicista de algoritmos de alineación en modelos de lenguaje
Descubrimos cómo seis algoritmos de alineación (PPO, DPO, SimPO, ORPO, GRPO, KTO) transforman internamente los modelos. Implicaciones para seguridad.
Interacciones entre características en crosscoders: pruebas compactas
Descubre cómo medir interacciones entre características de crosscoders mejora la reconstrucción, logra dispersión computacional y detecta agentes durmientes.