Sections

L’IA traque le harcèlement en ligne

Dossier
Paru le 01.07.2024
Comment l’intelligence artificielle va changer nos vies

L’IA traque le harcèlement en ligne

04.01.2019, par
Pour combattre le harcèlement en ligne, qui touche principalement les mineurs, l’intelligence artificielle se révèle une alliée efficace. Explications.

Si Internet a toujours été un outil ambivalent, le fulgurant essor des réseaux sociaux ces dix dernières années en a renforcé les écueils : le partage de connaissances et d’opinions y est certes facilité, mais également l’intrusion d’éléments négatifs pour les jeunes. Si Sartre n’a jamais eu de Smartphones ou Internet à domicile, son « l’enfer, c’est les autres »1 a ainsi pris une nouvelle dimension en ces temps de surconnexion.

Pour lutter contre ce phénomène, un numéro de téléphone, le 3020, Non au harcèlement, a été mis en place, ainsi qu'un Numéro Vert, plus spécialisé, 0800 200 000, Net Écoute. La recherche s’est aussi emparée du problème avec le projet européen Creep2 qui se focalise sur les écoles de la province italienne de Trente. Coordonné par la fondation italienne Bruno Kessler, et financé par l’Institut européen d'innovation et de technologie, Creep rassemble des membres de l’Université de Trente, du CNRS, de l’Université de la Côte d'Azur, de la société ExpertSystem et de la start-up allemande Neuronation. Des outils technologiques de lutte contre le cyberharcèlement y sont développés,  en particulier des solutions liées à l’intelligence artificielle.

L’Unesco estime que le harcèlement scolaire, pas uniquement limité à sa version numérique, concernait 246 millions de mineurs en 2017. Entre 2010 et 2014, la proportion de jeunes âgés de 9 à 16 ans exposés au cyberharcèlement est passée de 8 à 12 %, dont seuls 10 % d’entre eux en parlent à leurs parents. De son côté, l’Éducation nationale considère que l’on entre dans le cyberharcèlement lorsque la victime subit au moins une attaque par semaine pendant un mois. En France, le taux d’adolescents expliquant en avoir déjà été victimes s’élève à 12,5 %.

Différencier la prise de bec du harcèlement

« Nous développons des outils capables de parcourir les réseaux sociaux et d’analyser les données afin de repérer les messages contenant du cyberharcèlement ou de la haine », explique Elena Cabrio, maître de conférences à l’université de la Côte d’Azur et membre du Laboratoire d’informatique, signaux et systèmes de Sophia Antipolis (I3S)3, laboratoire qui a reçu en décembre dernier un trophée de l'Inpi. Au sein de l’équipe Sparks4, spécialisée dans la fouille et la compréhension de vastes champs de données numériques, ses thèmes de recherche touchent au traitement automatique du langage et à l’étude des arguments. Ces travaux reposent sur la théorie des graphes, des modèles abstraits reliés en réseaux. « Chaque utilisateur est représenté par un graphe et nous pouvons voir les échanges entre les différents utilisateurs. Des algorithmes aident à naviguer entre les graphes, des méthodes d’apprentissage automatique traitent les messages pour vérifier s’ils correspondent à du contenu agressif. »
 

Système de détection automatique du cyberharcèlement : chaque nœud représente un utilisateur et les arcs les connections entre eux.
Système de détection automatique du cyberharcèlement : chaque nœud représente un utilisateur et les arcs les connections entre eux.

Ces outils détectent donc gros mots, insultes et autres termes toxiques. Or, si les échanges sur la Toile ne sont pas toujours courtois, chaque prise de bec ne compte pas pour autant comme un cas de cyberharcèlement. « Les gens sont virulents sur les réseaux sociaux, avoue Elena Cabrio. Mais le harcèlement est défini par le caractère continu des attaques d’un utilisateur vers une même cible. » Les adultes ne sont pas épargnés par ce problème.

Serena Villata, chargée de recherche CNRS à l’I3S et membre de l’équipe Sparks, contribue elle aussi au projet Creep ; elle s’est spécialisée dans l’étude des arguments et l’extraction de structures lors de débats en ligne. « Le harcèlement existait déjà avant Internet, mais avec les réseaux sociaux il peut se poursuivre même hors de la classe, déplore-t-elle. Les victimes ne connaissent donc pas de répit et nous essayons de les aider à gérer des situations difficiles. »

Tester in situ en Italie

Les méthodes de l’I3S ont été testées à partir de scénarios ayant pour cadre des réseaux comme Facebook, WhatsApp et Instagram, mais aussi des réseaux sociaux créés spécifiquement pour des écoles pilotes dans la province de Trente. Certains établissements se dotent en effet de réseaux internes, plus faciles à contrôler et à étudier. En effet, sur des plateformes comme Facebook, les chercheurs n’ont pas accès aux messages privés, ce qui limite l’exploration et l’analyse automatique des contenus en ligne.
 

Le harcèlement est défini par le caractère continu des attaques d’un utilisateur vers une même cible.

Par ailleurs, la Fondation Bruno Kessler va se charger de programmer un chatbot, un système de discussion en ligne automatisé permettant de rediriger les victimes vers un psychologue ou toute autre personne de confiance. Prévu pour s’arrêter à la fin 2018, le projet Creep a finalement été reconduit pour toute l’année 2019.

« Les écoles de la province de Trente vont commencer à utiliser nos prototypes, se réjouit Serena Villata. Nous allons profiter de cette prolongation pour créer une seconde version de l’application, qui prendra aussi en compte les images. »

Des réseaux sociaux comme Instagram se focalisent en effet sur les photographies. Outre les photomontages insultants, les risques se concentrent principalement sur les contenus érotiques. Le partage et la circulation contre son gré de photos suggestives d’une jeune fille représentent un déclencheur massif de cyberharcèlement.

Le revenge porn, terme consacré, couvre ainsi toute diffusion non sollicitée de photos et de vidéos érotiques, voire pornographiques, par d’anciens flirts ou amants. S’il concerne surtout les adultes, le phénomène touche aussi des mineurs via la banalisation des sextos qui se retournent contre leur expéditeur initial en cas de déception amoureuse.

Au printemps, Facebook avait annoncé lutter contre le revenge porn en proposant aux victimes, et à celles et ceux qui pensaient risquer de le devenir, de leur envoyer leur propre contenu compromettant afin qu’il puisse être rapidement identifié s’il était posté sur le réseau américain. Une solution ubuesque, impensable en effet d’attendre des gens, d’autant plus lorsqu’ils sont mineurs, de fournir à Facebook des médias intimes d’eux-mêmes. Une situation grotesque qui souligne bien le manque d’outils adéquats et l’ampleur du travail restant à accomplir. « On parle beaucoup d’intelligence artificielle en ce moment, conclut Serena Villata. Nos travaux sont un bel exemple d’une utilisation qui fait du bien à la société et qui aide les gens. » ♦
 

 

Notes
  • 1. Phrase extraite de la pièce de théâtre Huis clos.
  • 2. Pour Cyberbullying Effects Prevention, « prévention des effets du cyberharcèlement ».
  • 3. Unité CNRS/Université Côte d'Azur
  • 4. Pour Scalable and Pervasive Software and Knowledge Systems, « logiciels évolutifs et omniprésents et systèmes de connaissance ».

Auteur

Martin Koppe

Diplômé de l’École supérieure de journalisme de Lille, Martin Koppe a notamment travaillé pour les Dossiers d’archéologie, Science et Vie Junior et La Recherche, ainsi que pour le site Maxisciences.com. Il est également diplômé en histoire de l’art, en archéométrie et en épistémologie.