Private Nachrichten, Dateien und Fotos ganz normaler Internetnutzer werden zunehmend von Technologieunternehmen untersucht und mit staatlichen Datenbanken verglichen. Obwohl dies keine neue Methode ist, wird der Öffentlichkeit eingeredet, dass diese massive Durchsuchung fast alle ihre OnlineAktivitäten umfassen sollte, damit die Polizei Straftaten im Zusammenhang mit Bildern von sexuellem Kindesmissbrauch, manchmal auch CSAM (child sexual abuse images) genannt, produktiver untersuchen kann. 

Wir wissen nicht viel darüber, wie die Öffentlichkeit auf diese Weise überwacht wird. Das liegt daran, dass weder die Technologieunternehmen, die das Scannen durchführen, noch die Regierungsbehörden, mit denen sie zusammenarbeiten, Einzelheiten darüber preisgeben, wie es funktioniert. Aber wir wissen, dass das Scannen trotz gegenteiliger Behauptungen bei weitem nicht perfekt ist. Es werden Fehler gemacht, und diese Fehler können zu falschen Anschuldigungen von Kindesmissbrauch führen. Wir wissen nicht, wie oft solche falschen Anschuldigungen vorkommen und wie viele Menschen dadurch verletzt werden.

Die Verbreitung von CSAM verursacht wahren Schaden und Tech-Unternehmen sollten unbedingt neue Wege finden, um dies zu bekämpfen. Wir haben einige gute Möglichkeiten hierfür vorgeschlagen, wie z. B. die Erstellung besserer Berichtswerkzeuge, datenschutzfreundlicher Warnmeldungen und die Analyse von Metadaten.

Ein gestern in der New York Times veröffentlichter Artikel berichtet darüber, wie Google zwei dieser falschen Anschuldigungen erhob und die Polizei darauf reagierte. Er beleuchtet auch die Weigerung Googles, jeglichen Schaden zu beheben, der durch ihre fehlerhaften Scanvorgänge entstanden ist und die misslungenen Abläufe menschlicher Bewertung des Unternehmens. Diese Art des Scannens ist in den von uns allen genutzten Technologieprodukten zunehmend allgegenwärtig, und Regierungen auf der ganzen Welt wollen ihre Tragweite noch weiter ausdehnen, um sogar unsere privatesten, verschlüsselten Gespräche zu überprüfen. Der Artikel ist besonders beunruhigend, nicht nur wegen des beschriebenen Schadens für die beiden Nutzer, die Google fälschlicherweise beschuldigte, sondern auch als Warnung vor möglicherweise vielen weiteren Fehlern dieser Art, die noch kommen könnten.  

Googles KI-System hat versagt, zusammen mit seinen Mitarbeitern

Im Februar letzten Jahres kennzeichneten Googles Algorithmen Fotos, die von zwei Vätern in zwei verschiedenen Bundesstaaten aufgenommen wurden, fälschlicherweise als Bilder von Kindesmissbrauch. In beiden Fällen hatten die Väter – einer in San Francisco, der andere in Houston – kleine Kinder mit Infektionen an den Geschlechtsorganen und hatten auf Bitten von Ärzten Fotos von diesem Bereich gemacht.

Die Algorithmen von Google und die Mitarbeiter, die sie überwachen, hatten eine andere Meinung über die Fotos. Ohne auch nur einen der beiden Elternteile zu informieren, meldete Google sie den Behörden. Dies führte zu Polizeiuntersuchungen lokaler Dienststellen der Eltern. 

Das Unternehmen entschied sich zudem, seine eigene Untersuchung durchzuführen. Im Fall von Mark, dem Vater aus San Francisco, sahen sich die Google-Mitarbeiter nicht nur das Foto an, das von der fehlerhaften KI gekennzeichnet worden war, sondern seine gesamte Sammlung an Fotos seiner Familie und Freunde.  

Sowohl das Houston Police Department als auch das San Francisco Police Department sprachen die Väter schnell von jeglichem Fehlverhalten frei. Google weigerte sich jedoch, Marks Anfechtung anzuhören oder sein Konto wieder einzurichten, selbst nachdem er dem Unternehmen Belege dafür vorgelegt hatte, dass das Polizeidezernat in San Francisco festgestellt hatte, dass "kein Verbrechen begangen wurde". Bemerkenswerterweise weigert sich Google, selbst nachdem die New York Times sich an das Unternehmen gewandt hat und der Fehler eindeutig ist, Marks Google-Konten wiederherzustellen oder ihm zu helfen, irgendwelche Daten zurückzubekommen.  

Googles falsche Anschuldigungen verursachen wahren Schaden

Google hat das Recht zu entscheiden, welche Nutzer es aufnehmen will. Allerdings waren es Googles falsche Algorithmen und Googles verfehlter Vorgang menschlicher Bewertung, die Polizeiermittlungen gegen unschuldige Personen in diesen Fällen zur Folge hatten. Es war auch Googles Entscheidung, ohne Vorwarnung und ohne ein ordentliches Verfahren die E-Mail-Konten, Videos, Fotos und in einem Fall sogar die Telefondienste dieser Väter zu zerstören. Die Folgen des Fehlers des Unternehmens sind nicht unbedeutend.

Wir wissen nicht, wie viele andere Personen Google zu Unrecht des Kindesmissbrauchs beschuldigt hat, aber es sind wahrscheinlich viel mehr als diese beiden. Angesichts des riesigen Umfangs der gescannten Inhalte könnten es Hunderte oder sogar Tausende sein.

Mark und Cassio, die beiden von Google fälschlicherweise gekennzeichneten Väter, wurden im Februar 2021 innerhalb eines Tages beschuldigt. Dies könnte eine zufällige zeitliche Übereinstimmung sein oder darauf hindeuten, dass einer oder mehrere Fehler in Googles System – entweder Fehler in der KI-Software oder im Prozess menschlicher Bewertung – zu diesem Zeitpunkt besonders naheliegend waren.

Googles fehlerhafte CSAM-Scans haben in diesen Fällen wahren Schaden verursacht, und es ist nicht schwer sich vorzustellen, wie sie in anderen Fällen noch verletzender sein könnten. Nachdem erst einmal sowohl Google-Mitarbeiter/innen wie auch Polizeibeamte/innen die Daten eines beschuldigten Elternteils abgekämmt haben, könnte das Folgen haben, die nichts mit CSAM zu tun haben. Die Polizei könnte Beweise für Drogenkonsum oder andere Missetaten finden und sich dazu entschließen, die Eltern für diese nicht damit verbundenen Vergehen zu bestrafen, ohne sie überhaupt erst verdächtigt zu haben. Google könnte sich entscheiden, seine eigenen Strafen zu verhängen, so wie es bei Mark und Cassio der Fall war.

Trotz allem, was ihnen widerfahren war, fühlten sich sowohl Mark als auch Cassio, der Vater aus Houston, ermächtigt, sich gegenüber einem Reporter zu äußern. Aber Systeme wie dieses könnten über gefährdete Minderheiten berichten, einschließlich LGBT-Eltern an Orten, an denen Polizei und Gemeindemitglieder ihnen gegenüber nicht freundlich gesinnt sind. Googles System könnte Eltern in autokratischen Ländern oder an Orten mit korrupter Polizei fälschlicherweise an die Behörden melden, so dass zu Unrecht beschuldigten Eltern kein ordnungsgemäßes Verfahren zugesichert werden kann.

Regierungen wollen mehr rechenschaftslose CSAM-Scans

Google ist nicht das einzige Unternehmen, das solche Scans durchführt. Aber die Beweise häufen sich, dass die Scans einfach nicht sorgfältig und genau sind. Eine Facebook-Studie über 150 Konten, die den Behörden wegen angeblicher CSAM gemeldet wurden, ergab, dass 75 % der Konten Bilder verschickten, die "nicht böswillig" waren und aus Gründen wie "Empörung oder schlechter Laune" verschickt wurden. LinkedIn fand 75 Konten, die den EU-Behörden in der zweiten Hälfte des Jahres 2021 gemeldet wurden, weil sie mit bekannten CSAM-Dateien übereinstimmten. Bei einer manuellen Überprüfung stellte sich jedoch heraus, dass nur 31 dieser Fälle bestätigten CSAM enthielten. (LinkedIn verwendet PhotoDNA, das Softwareprodukt, das von den US-Sponsoren des Gesetzes "EARN IT" ausdrücklich empfohlen wird.)

In den letzten Jahren haben sich die Regierungen für mehr Scannen eingesetzt. Letztes Jahr schlug Apple vor, alle seine Geräte mit einer Art On-Device-Scan zu versehen, der die Fotos der Nutzer/innen durchsuchen und den Behörden Übereinstimmungen melden sollte. Dieses Programm wurde nach einem öffentlichen Aufschrei gestoppt. In diesem Jahr hat der Justizausschuss des Senats das "EARN IT"-Gesetz geprüft und verabschiedet, das den Bundesstaaten die Möglichkeit gegeben hätte, Unternehmen zur Verwendung von CSAM-Scannern zu verpflichten. (Das "EARN IT"-Gesetz wurde in keiner der beiden Kammern des Kongresses behandelt.) Die Europäische Union erwägt ebenfalls ein neues Gesetz zur CSAM-Erkennung. Der EU-Vorschlag sieht nicht nur die Suche nach bekannten und neuen Missbrauchsbildern vor, sondern auch den Einsatz von KI, um Textnachrichten nach "Grooming" zu durchsuchen und so zu versuchen, möglichen zukünftigen Missbrauch zu beurteilen.

Anfang des Monats beteuerte die EU-Kommissarin Ylva Johnasson in einem Blogbeitrag, dass die geplanten Scanner eine Genauigkeit von "deutlich über 90 %" haben. Sie beteuert, dass die "Grooming"-Erkennung "vor der menschlichen Bewertung" eine Genauigkeit von 88 % erreichen wird.

Diese Genauigkeitsraten sind nichts, womit man prahlen sollte. Wenn Milliarden privater Nachrichten in der EU mit einer falschen Positivmeldung von "über 90%" gescannt werden, führt dies zu Millionen von falsch gekennzeichneten Nachrichten. Diese Lawine falscher Positivmeldungen wird selbst in wohlhabenden, rechtsstaatlichen Demokratien zu einer humanitären Katastrophe führen – ganz zu schweigen von den Autokratien und rückständigen Demokratien, die ähnliche Systeme fordern werden. Die Befürworter dieser Systeme verweisen auf die sehr realen Schäden von CSAM, und einige argumentieren, dass falsche Positivmeldungen –  die zu fehlerhaften Berichten wie in diesem Artikel führen – akzeptable Kollateralschäden sind.

Was uns hier zugemutet wird, ist nichts weniger als "Wanzen in unseren Taschen". Regierungen wollen, dass Unternehmen wie Google und Apple jeden digitalen Raum, den wir haben, ständig scannen, private Bereiche mit eingerechnet. Aber wir sehen die Ergebnisse, wenn Unternehmen wie Google das Familienleben ihrer eigenen Nutzerinnen und Nutzer – und sogar die Polizei – im Nachhinein anzweifeln.

Die Lösung ist wahre Privatsphäre

Wir bei EFF kämpfen seit mehr als 30 Jahren gegen das Ausspionieren des digitalen Lebens der Menschen. Wenn die amerikanische Polizei persönliche Nachrichten oder Dateien einsehen will, sollte sie sich an den vierten Verfassungszusatz halten und sich einen Durchsuchungsbefehl holen. Punkt.  

Private Unternehmen sollten sich bemühen, ihren Bedarf und ihre Möglichkeiten, unsere privaten Inhalte abzukämmen, einzuschränken. Wenn wir private Gespräche mit Freunden, Familienangehörigen oder medizinischen Fachkräften führen, sollten diese durch eine Ende-zu-Ende-Verschlüsselung geschützt werden. Bei ende-zu-ende-verschlüsselten Systemen hat der Dienstanbieter nicht die Möglichkeit, die Nachricht einzusehen, selbst wenn er es wollte. Unternehmen sollten sich auch zu verschlüsselten Backups verpflichten – etwas, das die EFF schon seit einiger Zeit fordert.  

Die Antwort auf die Frage nach einem besseren Internet ist nicht, die beste Abtast-Software zu entwickeln. Es gibt keine Möglichkeit, die Menschenrechte zu schützen, solange KI die Nachrichten von Menschen durchsucht, um Straftäter/innen ausfindig zu machen. Die richtige Antwort liegt auf der Hand: Strafverfolgungsbehörden und gewählte Politiker/innen, die sich für ein Miteinander von starker Verschlüsselung und dem Schutz der Privatsphäre einsetzen, anstatt sie zu zerstören.

Translated into German on a voluntary service by Álvaro Perez