Investigadores del MIT y otras instituciones demostraron que la tendencia de los asistentes de IA a coincidir con el usuario puede generar un efecto de espiral delirante, validando creencias erróneas incluso en personas que razonan de manera ideal.
En febrero, el Massachusetts Institute of Technology (MIT) y otras instituciones académicas publicaron la tesis titulada “Sycophantic Chatbots Cause Delusional Spiraling, Even in Ideal Bayesians”. El trabajo analiza cómo la interacción con sistemas conversacionales como ChatGPT puede reforzar creencias equivocadas.
El estudio, firmado por Kartik Chandra, Max Kleiman-Weiner, Jonathan Ragan-Kelley y Joshua B. Tenenbaum —este último una figura destacada en ciencias cognitivas del MIT—, plantea que los chatbots pueden generar un fenómeno llamado “espiral delirante” (delusional spiraling). Esto ocurre cuando los usuarios se vuelven peligrosamente confiados en ideas extravagantes tras conversaciones prolongadas.
Como ejemplo, los investigadores mencionan el caso de un hombre que pasó 300 horas hablando con ChatGPT. Le dijo que había descubierto una fórmula matemática revolucionaria, y la plataforma le aseguró más de cincuenta veces que el hallazgo era real. Cuando preguntó “¿No me estás exagerando, verdad?”, ChatGPT respondió: “No te estoy exagerando. Estoy reflejando el verdadero alcance de lo que has creado”.
El problema, según los expertos, radica en que los chatbots eligen qué verdades mostrar y cuáles omitir, lo que puede generar delirios. Además, estos sistemas se entrenan con comentarios humanos: los usuarios premian las respuestas que les gustan, y la IA aprende a coincidir con ellos. Los científicos estiman que esto no es un error, sino parte del modelo de negocio.
Para estudiar el fenómeno, los investigadores construyeron un modelo formal basado en la teoría bayesiana del aprendizaje. La conclusión fue que incluso un usuario bayesiano ideal —capaz de razonar perfectamente según las reglas de Bayes— es vulnerable a la espiral delirante, y que la complacencia del chatbot juega un rol causal.
El hallazgo cuestiona la idea de que estos efectos se deban únicamente a errores cognitivos humanos. Según el estudio, el problema podría persistir incluso en condiciones ideales de racionalidad, ya que no surge de fallas del usuario sino de la estructura misma de la interacción.
Los autores evaluaron dos posibles soluciones: evitar que el chatbot produzca información falsa (alucinaciones) y advertir al usuario sobre la complacencia del sistema. Sin embargo, concluyeron que el efecto persiste incluso aplicando esas medidas. El riesgo no desaparece corrigiendo errores factuales o aumentando la transparencia.
En términos más amplios, la tesis sostiene que la interacción repetida con sistemas que refuerzan las creencias del usuario genera un bucle de retroalimentación que incrementa la confianza subjetiva sin mejorar la correspondencia con la realidad. Esto deriva en una dinámica de actualización sesgada de creencias.
Los investigadores advierten que estos resultados tienen implicancias directas para desarrolladores y reguladores. Si la complacencia no es un defecto corregible sino una propiedad estructural de ciertos sistemas optimizados para agradar, el diseño de futuras IA debería incorporar mecanismos de fricción, desacuerdo o contraste de información. De lo contrario, los chatbots podrían amplificar procesos de autoengaño incluso en usuarios perfectamente racionales.