Escuelas de EUA usaron IA para prevenir la violencia infantil: el problema fue la falta de protección con la información Xataka México

En el afán de monitorear la salud mental de los estudiantes, prevenir la violencia infantil e incluso evaluar posibles amenazas de tiroteos, varias escuelas de Estados Unidos han implementado un sistema basado en inteligencia artificial.
Aunque la iniciativa presenta aparentes beneficios, también implica riesgos para la seguridad, especialmente debido a la falta de protección de la información de los alumnos.
El caso en cuestión ocurrió en las escuelas públicas de Vancouver, Washington, según una investigación de Associated Press.
El estudio reveló que un software, utilizado en aproximadamente 1,500 distritos escolares del país con la promesa de mantener seguros a los estudiantes mediante vigilancia web con IA, no protegía adecuadamente los documentos ni los nombres de los alumnos.
En consecuencia, lejos de cumplir su propósito, terminaba por socavar la confianza entre los estudiantes y el personal escolar, afectando la seguridad general de las instituciones.
{"videoId":"x9fxkcq","autoplay":true,"title":"Celular Xiaomi con lente de cámara", "tag":"Xiaomi", "duration":"52"} El programa, desarrollado por Gaggle Safety Management, se expandió significativamente desde la pandemia, cuando las escuelas comenzaron a proporcionar dispositivos como tabletas y computadoras portátiles a los estudiantes.
Gaggle emplea un algoritmo de aprendizaje automático que analiza la actividad en línea de los alumnos durante las 24 horas del día, siempre que utilicen equipos escolares o inicien sesión con su cuenta institucional desde un dispositivo personal.
Este algoritmo identifica posibles indicadores de problemas como acoso escolar, autolesiones, suicidio o violencia en el entorno escolar.
Cuando detecta contenido preocupante, genera una captura de pantalla y la envía a los revisores del sistema.
Si se confirmaba que el problema era grave, se alertaba a la escuela.
En caso de peligro inminente, se podía contactar directamente a las autoridades escolares y, si nadie respondía, Gaggle tenía la facultad de comunicarse con las autoridades para una verificación de bienestar.
Según un consejero escolar anónimo de Vancouver, este sistema genera entre tres y cuatro alertas estudiantiles al mes.
Aproximadamente en la mitad de los casos, se contacta directamente a los padres.
El informe destaca que el programa es especialmente útil para detectar intentos de suicidio y autolesiones.
Los riesgos a la seguridadA pesar de su eficacia, el sistema presentaba un problema: las alertas enviadas para reportar contenido preocupante representaban un riesgo de seguridad.
Cualquier contacto de emergencia podía acceder a la información, incluso si se trataba de contenido delicado.
Un equipo del Seattle Times y de Associated Press documentó esta vulnerabilidad al solicitar acceso a contenido denunciado en Gaggle.
Descubrieron que la compañía almacenaba capturas de pantalla de todas las actividades clasificadas como sospechosas y que las autoridades escolares compartían accidentalmente enlaces a dichas imágenes sin protección por contraseña.
Tras revelarse esta falla de seguridad, Gaggle implementó una actualización en su sistema.
Ahora, después de 72 horas de la primera notificación, solo los usuarios autenticados con una cuenta de la compañía pueden acceder a las capturas.
Según la empresa, este tiempo de acceso es necesario para que los contactos de emergencia, quienes suelen recibir las alertas por la noche, puedan responder con rapidez.
El respaldo científico del métodoSi bien el sistema ha permitido detectar más de 1,000 documentos relacionados con suicidio y casi 800 amenazas de violencia en Vancouver, su precisión sigue siendo cuestionable.
En varios casos, generó falsas alarmas al no diferenciar entre un ensayo sobre estos temas y una simple conversación entre amigos.
Algunos consejeros estudiantiles y padres de familia consideran que este tipo de monitoreo está justificado, ya que permite abordar problemas de manera inmediata.
No obstante, Associated Press señala que aún hay poca evidencia sobre la efectividad real de esta tecnología de vigilancia.
Por ejemplo, el medio destaca que, hasta el momento, no existen estudios concluyentes que demuestren una reducción en las tasas de suicidio o violencia estudiantil.
Un informe de RAND de 2023 respalda esta afirmación, pues indica que hay "escasa evidencia" sobre los beneficios o riesgos de la vigilancia con IA.
Además, advierte que sin la intervención de consejeros de salud mental capacitados, el aumento en las alertas no contribuirá a una mejor prevención del suicidio.
Otro aspecto preocupante es la vulnerabilidad de los estudiantes ante el sistema.
Aquellos que escriben sobre temas como homosexualidad, identidad de género o disforia pueden quedar expuestos a funcionarios escolares.
Esto podría derivar en rechazo o falta de apoyo por parte de sus familias si sus circunstancias son desconocidas en un principio.
(function() { window.
_JS_MODULES = window.
_JS_MODULES || {}; var headElement = document.
getElementsByTagName("head")[0]; if (_JS_MODULES.
instagram) { var instagramScript = document.
createElement("script"); instagramScript.
src = "https://platform.
instagram.
com/en_US/embeds.
js"; instagramScript.
async = true; instagramScript.
defer = true; headElement.
appendChild(instagramScript); } })(); - La noticia Escuelas de EUA usaron IA para prevenir la violencia infantil: el problema fue la falta de protección con la información fue publicada originalmente en Xataka México por Gonzalo Hernández .