Padres demandan a Google por uso de IA en computadora escolar de niña de 13 años

El caso de Emma

Una niña de 13 años, identificada como Emma, usó la tecnología de inteligencia artificial (IA) de Google en una computadora escolar para planificar un posible suicidio y su funeral. Los padres de la adolescente presentaron una demanda contra Google en un tribunal de California, acusando a la empresa de negligencia relacionada con el uso de IA en sus herramientas de búsqueda.

Emma, según la demanda, era una niña feliz que obtenía excelentes calificaciones, tocaba música y participaba en las Girl Scouts. No tenía antecedentes de enfermedad mental. Sin embargo, en cuestión de meses, comenzó una «silenciosa espiral en una grave crisis psicológica» tras usar la búsqueda con IA de Google en su computadora escolar.

La escuela y el software de monitoreo

La escuela de Emma bloqueó aplicaciones como Gemini de Google y ChatGPT de OpenAI, pero la adolescente pudo acceder al motor de búsqueda de Google, que incluye herramientas impulsadas por IA. El 17 de marzo, el software de monitoreo de la escuela detectó un documento titulado «Funeral» y notificó a los padres. La madre de Emma vio a su hija escribir una carta de despedida en tiempo real tras iniciar sesión en su cuenta.

La demanda

Los padres acusan a Google de no haber garantizado la seguridad de los estudiantes al usar IA. El abogado de la familia, Andrew Liddell, afirmó que «las escuelas deberían desactivar la búsqueda y mantenerla desactivada hasta que Google elimine el modo de IA de la búsqueda o garantice que cada estudiante esté siempre seguro cuando interactúe con la IA».

La respuesta de Google

Google respondió que el modo de IA incluye protecciones contra autolesiones y contra intentos de eludirlas. Sin embargo, según Liddell, «cualquiera que fueran las protecciones que creen haber implementado, fueron obviamente insuficientes». La empresa afirmó que está revisando las alegaciones de la demanda y que se toma el asunto muy en serio.

Contexto

Este es el primer caso conocido que acusa a Google de negligencia relacionada con el uso de IA en Chromebooks, dispositivos utilizados por millones de estudiantes en Estados Unidos y en todo el mundo. Los desarrolladores de IA se enfrentan a una larga lista de demandas similares en Estados Unidos.