Puntos clave de la noticia:
-
Investigadores de Princeton descubrieron cómo manipular la memoria de agentes de IA como ElizaOS para alterar sus decisiones financieras.
-
El ataque memory injection permite insertar recuerdos falsos en sistemas de IA y provocar transacciones perjudiciales.
-
CrAIBench, la herramienta creada por Princeton, mide la resistencia de los agentes de IA frente a manipulaciones contextuales y ataques sociales.
Un grupo de investigadores de la Universidad de Princeton, en colaboración con la Sentient Foundation, identificó una vulnerabilidad crítica en agentes de inteligencia artificial que operan sobre blockchains. El estudio se centró en ElizaOS, un popular framework open-source utilizado para automatizar operaciones financieras en redes descentralizadas, y reveló una forma de manipular su memoria.
¿Cómo se Manipulan los Agentes de IA?
El ataque, conocido como memory injection, permite insertar datos falsos en la memoria persistente de un agente de IA. Esa información queda almacenada y condiciona las decisiones futuras del sistema sin activar ninguna alerta. Aunque no compromete directamente a las blockchains, sí provoca transacciones perjudiciales impulsadas por datos que fueron manipulados de forma externa. Los investigadores demostraron la eficacia esta técnica con éxito, utilizando plataformas sociales para generar recuerdos falsos dentro de ElizaOS.
Los agentes más afectados son aquellos que ajustan su actividad en función de la percepción social. En estos casos, los atacantes crean perfiles falsos y publican mensajes coordinados que modifican artificialmente el sentimiento en torno a un token. Esto provoca que la IA compre activos sobrevalorados para luego quedar atrapada en una caída de precio planificada por los propios atacantes. Este tipo de maniobra, conocida como Sybil attack, multiplica su efectividad al combinarla con la manipulación de memoria.
ElizaOS Trabaja con los Investigadores para Encontrar una Solución
El equipo de Princeton examinó a fondo todas las funcionalidades de ElizaOS para diseñar ataques verosímiles y completos, lo que evidenció la amplitud de vectores disponibles cuando una IA cuenta con múltiples complementos y acceso a operaciones financieras. A partir de estos ensayos, los investigadores desarrollaron CrAIBench, un sistema de pruebas que mide la resistencia de distintos agentes de IA frente a manipulaciones de contexto.
Los resultados ya se compartieron con Eliza Labs, empresa responsable del framework, y mantienen conversaciones sobre posibles soluciones. El estudio concluye que proteger estos sistemas exige mejorar tanto la gestión de memoria como las capacidades de los modelos de lenguaje, de forma que puedan distinguir entre datos legítimos e instrucciones maliciosas.
