L'IA envoie une collégienne de 13 ans en prison pour une "blague", une dérive autoritaire inquiétante
Aussi incroyable que cela puisse paraître, une plaisanterie en ligne a envoyé une collégienne de 13 ans en garde à vue. L'histoire s'est déroulée dans le Tennessee et la jeune fille a été arrêtée, fouillée et incarcérée pour une nuit entière suite à un message repéré par l'IA.
© Shutterstock/Iren_Geo
L'incident débute en ligne alors que les camarades taquinent l'adolescente sur son teint bronzé en l'appelant "mexicaine", bien qu'elle ne le soit pas. Une amie lui demande alors ses projets pour jeudi, ce à quoi la collégienne répond : "On tue tous les mexicos". Sauf que cette "blague" a déclenché l'IA de surveillance de l'école. Une plaisanterie moyenne, certes, mais qui ne justifie pas la suite des événements.
L'IA au service d'une surveillance autoritaire
La matinée n'est même pas encore terminée que la collégienne de Fairview Middle School est arrêtée, interrogée avec une fouille corporelle complète et passe la nuit en cellule. Ce n'est que le lendemain que ses parents ont la possibilité de lui parler selon la plainte qu'ils ont déposée contre l'établissement.
La mère de la collégienne, Leslie Mathis, déclare : "Ça me fait me demander si c'est ça l'Amérique dans laquelle nous vivons et c'est cette technologie stupide qui passe en revue et collecte des mots au hasard sans regarder le contexte".
Ce sont des milliers de districts scolaires aux États-Unis qui utilisent des logiciels d'IA pour surveiller l'activité en ligne des élèves. On parle d'applications comme Gaggle et Lightspeed Alert qui scrutent les conversations numériques et alertent les responsables scolaires et les forces de l'ordre.
Jeff Patterson, PDG de Gaggle, critique toutefois l'utilisation faite par l'école. Le logiciel est pensé pour détecter les signaux d'alarme et prévenir une escalade. "J'aurais souhaité que ce soit traité comme un moment éducatif, pas policier" déclare-t-il.
Le Tennessee a adopté une loi en 2023 qui impose une tolérance zéro envers toute menace de violence de masse contre une école. Ce qui explique cet excès de zèle est l'arrestation de la collégienne de 13 ans, surtout lorsque l'on sait que le pays est régulièrement visé par des mass shootings.
L'adolescente a écopé de huit semaines d'assignation à résidence, d'une évaluation psychologique et de 20 jours dans une école alternative. Sa mère confie : "Elle pensait que je la détestais. Ça vous hante ce genre de choses".
Les élèves ignorent souvent qu'ils sont constamment surveillés. Shahar Pasch, avocate spécialisée en éducation en Floride, représente une adolescente arrêtée après une plaisanterie sur les fusillades scolaires postées sur Snapchat. Le logiciel basé sur l'IA a capté le commentaire puis a alerté le FBI. La jeune fille a été arrêtée à l'école en quelques heures.
L'efficacité de l'IA reste discutable, puisque dans le district de Lawrence au Kansas, Gaggle a généré plus de 1 200 alertes en dix mois, mais seulement deux tiers étaient sans fondement. Selon l'Associated Press, on parle de plus de 200 fausses alertes qui proviennent de devoirs d'élèves.
De nombreux ratés inquiétant à cause de l'IA
Par exemple, des élèves d'un cours de photographie ont été convoqués chez le directeur car Gaggle a détecté de la nudité. Les photos ont été automatiquement supprimées des Google Drive, mais les étudiants ont prouvé avec leur sauvegarde que c'était une erreur.
Autre exemple : Natasha Torkzaban a été signalée par le logiciel après avoir aidé une amie à corriger sa lettre de motivation pour l'université, où on trouvait le mot "santé mentale". La jeune femme fait partie d'un groupe d'étudiants journalistes et artistes qui ont porté plainte contre leur district scolaire la semaine dernière en parlant d'une surveillance autoritaire.
En Floride, le district de Paul County a reçu près de 500 alertes de Gaggle en quatre ans, et 72 personnes ont été hospitalisées sous la Baker Act, une loi qui permet aux autorités d'imposer des évaluations psychiatriques.
Bref, la dérive autoritaire fait peur, comme l'explique Sam Boyd, avocat au Southern Poverty Law Center : "Un nombre vraiment élevé d'enfants qui subissent un examen psychiatrique involontaire s'en souviennent comme d'une expérience traumatisante, et pas quelque chose qui les aide avec leur santé mentale".
À noter que l'incident dont nous parlons dans l'article a eu lieu il y a deux ans, mais la jeune fille reste "horrifiée" de croiser les agents scolaires qui l'ont arrêtée. "C'est comme si on voulait que les enfants soient de petits soldats, mais ils ne le sont pas, ce sont juste des êtres humains", explique Leslie Mathis.
Suivez toute l'actualité des Numériques sur Google Actualités et sur la chaîne WhatsApp des Numériques
Envie de faire encore plus d'économies ? Découvrez nos codes promo sélectionnés pour vous.