Minority Report wird Wirklichkeit: Wenn KI über die Gefährlichkeit von Menschen urteilt

Ein Kommentar über Friedrich Dürrenmatt, die gefährliche Verlockung algorithmischer Vorhersagen und die Frage, ob wir unsere Freiheit eines Tages an Computerprogramme verlieren.

Dürrenmatts Warnung wird Wirklichkeit

„Was einmal gedacht wurde, kann nicht mehr zurückgenommen werden.“ Dieser Satz aus Friedrich Dürrenmatts Theaterstück „Die Physiker“ beschäftigt mich immer wieder. Als Dürrenmatt das Stück 1962 schrieb, war die Welt noch eine andere. Computer waren riesige Maschinen, künstliche Intelligenz ein junges Forschungsfeld, und die Vorstellung, dass eines Tages Maschinen über das Schicksal von Menschen mitentscheiden könnten, gehörte weitgehend in die Science-Fiction. Heute müssen wir feststellen: Dürrenmatts Gedanke ist aktueller denn je. Was der Mensch einmal erdacht hat, wird früher oder später irgendjemand ausprobieren. Nicht unbedingt, weil es vernünftig, notwendig oder moralisch vertretbar wäre. Sondern häufig schlicht deshalb, weil es technisch möglich geworden ist.

Willkommen in der Welt von Minority Report

Wer den Film „Minority Report“ aus dem Jahr 2002 kennt, erinnert sich an eine erschreckende Zukunftsvision: Menschen werden festgenommen, bevor sie überhaupt ein Verbrechen begangen haben, weil ein System behauptet, sie würden künftig eines begehen. Die Unschuldsvermutung wird auf den Kopf gestellt. Nicht mehr die Tat ist entscheidend, sondern die Prognose. Damals war das ein Hollywood-Thriller. Heute nähern wir uns zumindest einzelnen Elementen dieser Vorstellung auf beunruhigende Weise. Im US-Bundesstaat Michigan soll künstliche Intelligenz künftig helfen, das Risiko gewalttätigen Verhaltens von Gefängnisinsassen einzuschätzen. Die Justizvollzugsbehörde arbeitet mit der Technologieorganisation Recidiviz zusammen. Nach aktuellen Berichten soll im Dezember 2026 ein Pilotprojekt in mehreren Männergefängnissen beginnen. Die Software soll die Zuordnung zu unterschiedlichen Sicherheitsstufen unterstützen. Die Behörde erhofft sich eine um rund 30 Prozent genauere Einschätzung als mit bisherigen Verfahren. Dreißig Prozent genauer! Das klingt beeindruckend. Aber was bedeutet es? Welche Fehler werden verhindert? Wie viele Menschen werden weiterhin falsch eingeschätzt? Wer überprüft diese Zahlen unabhängig? Solange solche Fragen offen sind, bleibt die Zahl vor allem ein Versprechen.

Wenn aus Wahrscheinlichkeiten persönliche Schicksale werden

Zunächst klingt das Vorhaben vielleicht sogar vernünftig. Wenn eine Software helfen kann, Gewalt zwischen Gefangenen zu verhindern oder Justizvollzugsbedienstete besser zu schützen, weshalb sollte man sie nicht nutzen? Doch die entscheidende Frage lautet nicht, ob ein Computer statistische Zusammenhänge erkennen kann. Sie lautet: Was geschieht mit einem Menschen, wenn die Maschine sich irrt? Stellen wir uns einen Gefangenen vor, der seine Strafe verbüßt, sich ordentlich verhält und ernsthaft an seiner Resozialisierung arbeitet. Dann wertet eine Software seine Daten aus und kommt zu dem Ergebnis, er könnte künftig besonders gefährlich werden. Möglicherweise erhält er eine höhere Sicherheitsstufe, wird in einen strengeren Haftbereich verlegt oder verliert Zugang zu bestimmten Angeboten. Nicht weil er eine neue Gewalttat begangen hat. Sondern weil ein Algorithmus ein erhöhtes Risiko errechnet hat. Natürlich dürfen und müssen Gefängnisse Gefahren einschätzen. Aber zwischen einer nachvollziehbaren Entscheidung auf Grundlage konkreter Tatsachen und einer möglicherweise undurchsichtigen algorithmischen Prognose besteht ein erheblicher Unterschied. Vor allem dann, wenn die Software schleichend zur maßgeblichen Autorität wird.

Die Maschine hat immer recht? Ein gefährlicher Irrtum

Künstliche Intelligenz besitzt weder ein Gewissen noch Menschenkenntnis im eigentlichen Sinne. Sie verarbeitet Daten, erkennt Muster und berechnet Wahrscheinlichkeiten. Doch ausgerechnet diese Daten können voller Fehler, gesellschaftlicher Vorurteile und historischer Ungerechtigkeiten stecken. Das ist keine theoretische Befürchtung. Bereits 2016 untersuchte die amerikanische Rechercheplattform ProPublica das Risikobewertungssystem COMPAS. Die Journalisten stellten erhebliche Unterschiede bei fehlerhaften Prognosen fest. Schwarze Beschuldigte, die innerhalb des untersuchten Zeitraums nicht erneut straffällig wurden, waren deutlich häufiger fälschlicherweise als besonders rückfallgefährdet eingestuft worden als vergleichbare weiße Beschuldigte. Die Bewertung dieser Ergebnisse und die geeigneten Fairnessmaßstäbe wurden kontrovers diskutiert. Auch der amerikanische Rechnungshof GAO hat sich mit Verzerrungsrisiken bei dem anderen Risikobewertungssystem PATTERN befasst. Diese Systeme sind nicht identisch mit der neuen Software in Michigan. Trotzdem zeigen die Untersuchungen, wie problematisch es ist, aus historischen Daten scheinbar objektive Urteile über einzelne Menschen abzuleiten. Ein Algorithmus kann gesellschaftliche Ungerechtigkeiten nicht nur übernehmen, sondern ihnen den Anschein wissenschaftlicher Unfehlbarkeit verleihen. Genau darin liegt die Gefahr.

Heute Gefängnisse, morgen die gesamte Gesellschaft?

Die eigentliche Sorge reicht weit über amerikanische Haftanstalten hinaus. Wenn wir akzeptieren, dass Software Menschen anhand ihres vermuteten künftigen Verhaltens bewertet, wo ziehen wir dann die Grenze? Bei der Polizei? Bei Versicherungen? Bei der Kreditvergabe? Bei Bewerbungen? Bei staatlichen Sicherheitsüberprüfungen? Algorithmische Bewertungen existieren in verschiedenen Bereichen bereits, wenn auch mit unterschiedlichen Zielen und rechtlichen Grenzen. Der Gedanke, menschliches Verhalten immer umfassender berechnen zu können, besitzt eine gewaltige Anziehungskraft. Für Unternehmen verspricht er Effizienz, für Behörden schnellere Entscheidungen und für Sicherheitsapparate die Hoffnung, Gefahren zu erkennen, bevor sie entstehen. Aber eine Gesellschaft, die jeden Menschen zunehmend als berechenbares Risikoprofil betrachtet, verändert ihr Verhältnis zur Freiheit. Dann wird der Bürger nicht mehr nur danach beurteilt, was er getan hat, sondern womöglich immer stärker danach, was er statistisch gesehen tun könnte. Und irgendwann stellt sich die Frage, ob der Einzelne überhaupt noch eine faire Chance hat, sich gegen solche Zuschreibungen zu wehren.

Auch Deutschland ist von dieser Entwicklung nicht ausgenommen

Wer glaubt, solche Entwicklungen seien ausschließlich ein amerikanisches Problem, sollte sich die Diskussion um automatisierte Polizeidatenanalysen in Deutschland ansehen. Bereits 2023 erklärte das Bundesverfassungsgericht bestimmte gesetzliche Regelungen zur automatisierten Datenanalyse in Hessen und Hamburg für verfassungswidrig. Das Gericht beanstandete die unzureichende Begrenzung möglicher Grundrechtseingriffe. Auch die Europäische Union hat die Gefahren erkannt. Der europäische AI Act verbietet bestimmte Formen individueller Straftatenprognosen, die ausschließlich auf Persönlichkeitsprofilen oder persönlichen Merkmalen beruhen. Andere Systeme zur Unterstützung menschlicher Risikobewertungen können unter strengen Voraussetzungen zulässig sein. Das ist wichtig. Aber Gesetze allein lösen das grundsätzliche Problem nicht. Technische Möglichkeiten entwickeln sich häufig schneller als ihre gesellschaftliche und rechtliche Kontrolle. Und sobald Behörden und Unternehmen erhebliche Summen in solche Technologien investiert haben, entsteht ein ganz eigener Druck, sie auch tatsächlich einzusetzen.

Der Mensch darf nicht zum Gefangenen einer mathematischen Wahrscheinlichkeit werden

Natürlich ist nicht jede Risikoprognose unsinnig. Polizeibeamte, Richter, Psychologen und Justizvollzugsbedienstete müssen seit jeher Entscheidungen unter Unsicherheit treffen. Auch menschliche Entscheidungen können falsch, voreingenommen oder ungerecht sein. Gerade deshalb könnte eine sorgfältig überprüfte Software in bestimmten Situationen eine hilfreiche Ergänzung darstellen. Aber eben eine Ergänzung. Keine letzte Instanz. Ein Mensch muss wissen können, welche Tatsachen zu einer belastenden Entscheidung geführt haben. Er muss Fehler berichtigen lassen können. Er muss eine unabhängige Überprüfung verlangen können. Und er muss darauf vertrauen dürfen, dass nicht eine geheimnisvolle Rechenoperation über seine Zukunft entscheidet. Eine statistische Wahrscheinlichkeit ist kein Schuldbeweis. Ein erhöhtes Risiko ist keine begangene Straftat. Und eine künstliche Intelligenz ist kein Ersatz für rechtsstaatliche Verantwortung.

Dürrenmatt hatte eine erschreckende Weitsicht

Kehren wir zu Friedrich Dürrenmatt zurück. Sein Satz, dass einmal Gedachtes nicht mehr zurückgenommen werden könne, beschreibt die Unumkehrbarkeit menschlicher Erkenntnis. Was erfunden ist, lässt sich nicht einfach wieder aus der Welt schaffen. Aber daraus folgt nicht, dass alles, was technisch möglich ist, auch angewendet werden muss. Gerade weil wir das Wissen nicht zurücknehmen können, wächst unsere Verantwortung im Umgang damit. „Minority Report“ war eine Warnung vor einem System, das seine vermeintliche Sicherheit über die Freiheit des Einzelnen stellt. Michigan ist noch nicht an diesem Punkt. Dort geht es zunächst um die Einstufung bereits inhaftierter Menschen und nicht um Festnahmen wegen vorhergesagter Verbrechen. Aber die dahinterstehende Versuchung ist erkennbar: Wir möchten die Zukunft berechnen, um die Unsicherheit der Gegenwart zu beseitigen. Nur wird aus einer Wahrscheinlichkeit niemals Gewissheit. Eine Gesellschaft, die Menschen für das bestraft, was sie möglicherweise irgendwann tun könnten, hat einen entscheidenden Grundsatz des Rechtsstaates aufgegeben. Und eine Gesellschaft, die Maschinen mehr vertraut als überprüfbaren Tatsachen und rechtsstaatlichen Verfahren, sollte sich nicht wundern, wenn sie eines Tages feststellen muss, dass ihre technische Perfektion mit einem erheblichen Verlust an Menschlichkeit erkauft wurde. Dürrenmatts Erkenntnis bleibt bestehen: Was einmal gedacht wurde, kann nicht mehr zurückgenommen werden. Aber wir können immer noch entscheiden, ob wir aus jedem Gedanken auch eine Wirklichkeit machen wollen.