Avoir une conversation privée est un droit humain fondamental. Comme le reste de nos droits, nous ne devrions pas le perdre lorsque nous allons en ligne. Mais une nouvelle proposition de l'Union européenne pourrait jeter nos droits à la vie privée par la fenêtre.
DITES AU PARLEMENT EUROPÉEN : ARRÊTEZ DE ME SCANNER
L'organe exécutif de l'Union européenne va de l'avant avec une proposition qui pourrait conduire à l'analyse obligatoire de chaque message privé, photo et vidéo. La Commission européenne veut ouvrir les données intimes de nos vies numériques pour qu'elles soient examinées par un logiciel de numérisation approuvé par le gouvernement, puis comparées à des bases de données qui conservent des images d'abus d'enfants.
La technologie ne fonctionne pas correctement. Et lancer un système de "bugs dans nos poches" est tout simplement faux, même quand c'est fait au nom de la protection des enfants.
Nous n'avons pas besoin que des observateurs du gouvernement examinent nos conversations privées, qu'il s'agisse d'IA, de bots ou de policiers en direct. Les adultes n'en ont pas besoin, et les enfants n'en ont pas besoin non plus.
Si vous êtes dans l'un des 27 pays membres de l'UE, c'est un bon moment pour contacter votre député européen et lui faire savoir que vous êtes opposé à cette proposition dangereuse. Aujourd'hui, nos partenaires d'European Digital Rights (EDRi) ont lancé un site Web appelé "Stop Scanning Me" (Arrêtez de me scanner), avec plus d'informations sur la proposition et ses problèmes. Il contient une analyse juridique détaillée du règlement et une lettre cosignée par 118 ONG qui s'opposent à cette proposition, dont EFF. Les germanophones peuvent également consulter et partager le Chatkontrolle Stoppen ! site Web géré par des groupes allemands de libertés civiles.
Même si vous n'êtes pas un résident de l'UE, ce règlement devrait toujours vous préoccuper. Les grandes plateformes de messagerie ne se retireront pas de ce marché massif, même si cela signifie abandonner les engagements de confidentialité et de sécurité envers leurs utilisateurs. Cela affectera les utilisateurs du monde entier, même ceux qui ne communiquent pas régulièrement avec des personnes dans l'UE.
"Ordres de détection" pour écouter les conversations privées
Le règlement proposé par l'UE sur les abus sexuels sur les enfants (CSAR) est un pas en arrière décevant. Dans le passé, l'UE a pris l'initiative d'une législation sur la protection de la vie privée qui, bien qu'imparfaite, a évolué dans le sens d'une augmentation, plutôt que d'une diminution, de la vie privée des personnes, comme le règlement général sur la protection des données (RGPD) et l'e-Privacy Directif. Mais le règlement CSA va dans le sens inverse. Il ne respecte pas la Charte des droits fondamentaux de l'UE et sape la loi sur les services numériques (Digital Services Act) récemment adoptée, qui donne déjà aux autorités le pouvoir de supprimer les contenus illégaux.
La proposition exige que les plateformes en ligne et les fournisseurs de services de messagerie limitent les contenus abusifs et incitent à une surveillance générale de la communication des utilisateurs. Mais s'il reste des risques "significatifs" d'abus sexuels d'enfants en ligne après ces mesures d'atténuation - et on ne sait absolument pas ce que cela signifie dans la pratique - les forces de l'ordre peuvent envoyer des "ordres de détection" aux plateformes technologiques. Une fois qu'une ordonnance de détection est émise, l'entreprise qui gère la plate-forme peut être tenue d'analyser les messages, les photos, les vidéos et d'autres données à l'aide d'un logiciel approuvé par les forces de l'ordre.
Avec les ordres de détection en place, les plateformes ne pourront pas héberger de conversations vraiment privées. Qu'ils analysent les messages des gens sur un serveur central ou sur leurs propres appareils, le règlement CSA ne sera tout simplement pas compatible avec le chiffrement de bout en bout.
Non content d'examiner nos données et de les comparer aux bases de données gouvernementales sur la maltraitance des enfants, les auteurs de la proposition vont beaucoup plus loin. Le CSAR suggère d'utiliser des algorithmes pour deviner quelles autres images pourraient représenter un abus. Il prévoit même de rechercher le « toilettage » en utilisant l'IA pour examiner les messages texte des gens afin d'essayer de deviner quelles communications pourraient suggérer de futurs abus envers les enfants.
Les grandes entreprises de médias sociaux ne peuvent souvent même pas tenir les promesses énoncées dans leurs propres politiques de modération de contenu. Il est incroyable que les législateurs européens puissent maintenant forcer ces entreprises à utiliser leurs algorithmes de surveillance défectueux pour porter des accusations contre leurs propres utilisateurs des pires types de crimes.
La Commission européenne promeut une IA de détection du crime qui ne fonctionne pas
Il est difficile de vérifier l'exactitude du logiciel le plus couramment utilisé pour détecter le matériel d'exploitation sexuelle d'enfants (CSAM). Mais les données qui sont sorties devraient envoyer des signaux d'alarme, et non encourager les législateurs à aller de l'avant.
- Une étude de Facebook a révélé que 75 % des messages signalés par son système d'analyse pour détecter le matériel pédopornographique n'étaient pas « malveillants » et incluaient des messages tels que de mauvaises blagues et des mèmes.
- LinkedIn a signalé 75 cas présumés de CSAM aux autorités de l'UE en 2021. Après examen manuel, seuls 31 de ces cas, soit environ 41 %, impliquaient des CSAM confirmés.
- Les données récemment publiées d'Irlande, publiées dans un rapport de nos partenaires d'EDRi (voir page 34), montrent plus d'inexactitudes. En 2020, la police irlandaise a reçu 4 192 signalements du National Center for Missing and Exploited Children (NCMEC) des États-Unis. Parmi ceux-ci, 852 renvois (20,3 %) ont été confirmés comme étant de véritables CSAM. Parmi ceux-ci, 409 renvois (9,7 %) ont été jugés « donnant lieu à une action » et 265 renvois (6,3 %) ont été « complétés » par la police irlandaise.
Malgré l'insistance des boosters et des responsables de l'application des lois sur le fait que les logiciels de numérisation ont des niveaux de précision magiquement élevés, des sources indépendantes le disent clairement : une numérisation généralisée produit un nombre important de fausses accusations. Une fois que l'UE aura voté pour commencer à utiliser le logiciel sur des milliards de messages supplémentaires, cela entraînera des millions de fausses accusations supplémentaires. Ces fausses accusations sont transmises aux forces de l'ordre. Au mieux, ils sont inutiles ; ils ont également le potentiel de produire des souffrances dans le monde réel.
Les faux positifs causent un réel préjudice. Un récent article du New York Times a mis en évidence un scanner Google CSAM défectueux qui a identifié à tort deux pères américains de tout-petits comme étant des agresseurs d'enfants. En effet, les deux hommes avaient envoyé des photos médicales d'infections sur leurs enfants à la demande de leurs pédiatres. Leurs données ont été examinées par la police locale et les hommes ont été innocentés de tout acte répréhensible. Malgré leur innocence, Google a définitivement supprimé leurs comptes, soutenu le système d'IA défaillant et défendu leur processus d'examen humain opaque.
En ce qui concerne les données irlandaises récemment publiées, la police nationale irlandaise a vérifié qu'elle conservait actuellement toutes les données personnelles qui lui étaient transmises par le NCMEC, y compris les noms d'utilisateur, les adresses e-mail et d'autres données d'utilisateurs innocents vérifiés.
Grandir la botte de foin
La maltraitance des enfants est horrible. Lorsque la technologie numérique est utilisée pour échanger des images d'abus sexuels sur des enfants, il s'agit d'un crime grave qui justifie une enquête et des poursuites.
C'est pourquoi nous ne devons pas gaspiller nos efforts dans des actions inefficaces, voire nuisibles. La grande majorité des interactions sur Internet ne sont pas des actes criminels. La police enquêtant sur les crimes en ligne est déjà en position de rechercher une proverbiale « aiguille dans une botte de foin ». L'introduction de l'analyse obligatoire de nos photos et de nos messages ne les aidera pas à se concentrer sur la cible - cela élargira massivement la « botte de foin ».
La proposition de règlement de l'UE suggère également une vérification obligatoire de l'âge comme moyen de réduire la propagation du CSAM. Il n'existe aucune forme de vérification de l'âge en ligne qui n'ait pas d'effets négatifs sur les droits humains des locuteurs adultes. Les sociétés de vérification de l'âge ont tendance à collecter (et à partager) des données biométriques. Le processus interfère également avec le droit des adultes de parler de manière anonyme, un droit particulièrement vital pour les dissidents et les minorités qui peuvent être opprimés ou dangereux.
Les États de l'UE ou d'autres pays occidentaux pourraient bien être les premiers à interdire le cryptage afin de scanner chaque message. Ils ne seront pas les derniers. Les gouvernements du monde entier l'ont clairement indiqué : ils veulent lire les messages cryptés des gens. Ils seront heureux de mettre en lumière le terrorisme, les crimes contre les enfants ou d'autres atrocités si cela amène leurs citoyens à accepter plus de surveillance. Si ce règlement est adopté, les pays autoritaires, qui ont souvent des régimes de surveillance déjà en place, exigeront d'appliquer un balayage des messages de type européen afin de trouver leurs propres « crimes ». La liste comprendra probablement des gouvernements qui attaquent les dissidents et criminalisent ouvertement les communautés LBGT+.
