L’application «  Shield  » de cyberintimidation utilise l’IA pour lutter contre les trolls des réseaux sociaux

Des informaticiens de l’Université Aston de Birmingham ont lancé une application qui utilise de nouveaux algorithmes d’intelligence artificielle (IA) pour lutter contre la pêche à la traîne et l’intimidation en ligne.

L’application téléchargeable, Bullstop, est la seule application anti-cyberintimidation qui s’intègre directement aux plateformes de médias sociaux pour protéger les utilisateurs des intimidateurs et des trolls en les envoyant directement par messagerie.

Il a été développé par Semiu Salawu, chercheur au doctorat au Collège d’ingénierie et des sciences physiques et a été initialement conçu pour les adolescents à partir de 13 ans.

L’application a été conçue en collaboration avec des jeunes pour améliorer ses chances d’adoption auprès du public cible principal. Il est cependant également utile pour les adultes qui utilisent régulièrement des outils de médias sociaux comme Twitter et sont souvent soumis à la traîne et aux abus. Les exemples très médiatisés de pêche à la traîne sur Internet sont suffisamment fréquents pour nous montrer que ce type d’abus est répandu sur les réseaux sociaux.

Depuis l’éclosion de Covid-19 et le début du lock-out, les jeunes et les adultes ont déplacé leur vie en ligne, l’utilisation du temps d’écran augmentant considérablement et les rapports de cyberintimidation augmentant. En avril, le gouvernement britannique a publié de nouveaux conseils de sécurité en ligne pour les parents, les exhortant à suivre les conseils pour assurer la sécurité des enfants en ligne pendant le verrouillage.

Comparitech.com a interrogé plus de 1000 parents dans le monde et a constaté qu’entre 2018 et 2020, un cinquième de toutes les brimades se sont produites via les médias sociaux et les applications, avec 11% supplémentaires via des messages texte. Les informations faisant état de cyberintimidation ont augmenté d’environ 70% au début du verrouillage selon les données de la start-up israélienne L1ght in Digital Trends, laissant les plus jeunes particulièrement exposés aux méfaits en ligne.

Bullstop est unique en ce qu’il surveille le profil de médias sociaux d’un utilisateur et recherche les messages entrants offensants, pour s’assurer que l’utilisateur n’est pas soumis à des abus entrants, ainsi que les messages sortants offensants, pour s’assurer que l’utilisateur n’utilise pas un langage inapproprié et pour fournir un moyens d’auto-réflexion. Cela fonctionne via un algorithme d’intelligence artificielle (IA) conçu pour comprendre le langage écrit: il analyse les messages et signale le contenu offensant, comme les cas de cyberintimidation, de langage abusif, insultant ou menaçant, la pornographie et le spam.

Les messages offensants peuvent être immédiatement supprimés de la boîte de réception de l’utilisateur. Une copie des messages supprimés est cependant conservée si l’utilisateur souhaite les consulter. L’application peut également bloquer automatiquement les contacts qui envoient continuellement des messages offensants. Bullstop est hautement configurable, permettant à l’utilisateur de déterminer dans quelle mesure l’application supprime les messages inappropriés.

doctorat étudiant Semiu Salawu qui a conçu Bullstop a déclaré: « Cette application diffère des autres applications parce que l’utilisation de l’intelligence artificielle pour détecter la cyberintimidation est unique en soi. D’autres applications anti-cyberintimidation, en comparaison, utilisent des mots clés pour détecter les cas d’intimidation, de langage inapproprié ou menaçant .

« L’IA de détection a été formée sur plus de 60 000 tweets pour reconnaître non seulement un langage abusif et offensant, mais aussi l’utilisation de moyens subtils tels que le sarcasme et l’exclusion pour intimider, qui sont autrement difficiles à détecter à l’aide de mots clés.

« Il utilise une architecture basée sur le cloud distribué qui permet aux » classificateurs « d’être échangés et sortis. Par conséquent, à mesure que de meilleurs algorithmes d’intelligence artificielle deviennent disponibles, ils peuvent être facilement intégrés pour améliorer l’application. »

Bullstop prend actuellement en charge Twitter avec la prise en charge des messages texte prévue dans la prochaine étape du déploiement. Nous espérons qu’avec une utilisation continue de l’application et de bons résultats, d’autres plates-formes de médias sociaux telles que Facebook et Instagram seront intégrées, permettant à leurs utilisateurs de bénéficier de l’application.

Semiu a ajouté: « Twitter a été très favorable à des efforts de recherche comme celui-ci en permettant à des applications comme BullStop de s’intégrer en toute sécurité avec leur plate-forme et cela a été essentiel pour mener à bien la recherche. Nous espérons que d’autres plates-formes de médias sociaux suivront. »

L’application est actuellement en phase de test bêta, ce qui signifie que les chercheurs invitent les utilisateurs de l’application à leur fournir des commentaires pour leur permettre d’apporter des améliorations. Il a déjà été testé par un certain nombre de jeunes et de professionnels, notamment des enseignants, des policiers et des psychologues.

Un utilisateur de 11 ans a déclaré: « J’aime ça quand je veux envoyer un message aux gens, ça peut le vérifier pour moi parce que même si je ne veux pas être blessé, je ne veux pas blesser les gens non plus. De plus, si les gens ne veulent pas avoir de problèmes pour envoyer quelque chose, ils peuvent utiliser l’application pour leur dire si ce qu’ils envoient est mauvais. « 

Un utilisateur de 16 ans a déclaré: « J’aime que vous puissiez établir des contacts de confiance ou bloqués et que cela puisse automatiquement bloquer les gens s’ils sont offensants. »

Un psychiatre qui a examiné l’application a déclaré: « Il y a une section » Stop and think « , qui pour tout enfant qui ne veut pas directement intimider ou qui n’a pas l’intention d’intimider, est très positive. De plus, je ne pense pas l’enfant installerait une application s’il savait qu’elle permettait à ses parents d’y accéder, donc la décision de ne pas inclure la surveillance parentale dans l’application est la bonne « .

Un porte-parole de l’unité de cybercriminalité de la police des West Midlands a déclaré: « Mon impression initiale était très bonne. En tant qu’utilisateur, ou peut-être même en tant que tuteur, je peux faire le tour de l’application et comprendre très rapidement ce que l’application tente d’atteindre. . Je pense que le fait qu’il n’y ait pas d’application pour parents ou compagnon devrait être utilisé comme argument de vente. Si quelqu’un est victime d’intimidation en ligne, je recommanderais certainement cette application à eux et si cet outil est accessible au public, alors je pourrais le voir serait quelque chose que la police pourrait recommander comme outil de sauvegarde. « 

Un médecin généraliste (GP) local qui a testé l’application a ajouté: « Maintenant que je sais que BullStop sera disponible, je peux le recommander, car il met en pratique les conseils que nous donnons aux patients et à leurs parents. Par exemple, nous vous conseillons de bloquer contacts offensants et examen des demandes de connexion. Avoir quelque chose comme ça donne à un jeune un certain contrôle. « 

Bullstop est disponible gratuitement et peut maintenant être téléchargé sur GooglePlay.