Disruption Network Lab: Wie KI die Diskriminierung von Migrant*innen fördert

„Technologien sind nie neutral – sie replizieren bestehende Vorurteile und Machtunterschiede in unserer Gesellschaft.“ Petra Molnar, Sprecherin auf der Smart Prisons Konferenz, im Gespräch darüber, wie KI bei der Überwachung von Migrant*innen eingesetzt wird.

26. Juli 2023

Smart Prisons Logo

© Disruption Network Lab

Projektpartner

Disruption Network Lab

Das Disruption Network Lab ist eine gemeinnützige Organisation mit Sitz in Berlin, die 2014 mit dem Ziel gegründet wurde, die Schnittstellen von Politik, Technologie und Gesellschaft zu beleuchten und Projekte im Bereich der digitalen Kultur, der Informationstechnologie und des politischen Aktivismus zu initiieren. Die Stärke des Labs liegt in seiner Transversalität: Es bringt Expert*innen zusammen, um ihre Arbeit zu teilen und zu diskutieren, von investigativen Journalist*innen, politischen Aktivist*innen und Anwält*innen bis hin zu Menschenrechtsverteidiger*innen, Künstler*innen und Whistleblowern.

Das übergeordnete Ziel des Disruption Network Lab ist es, neue Wege des sozialen und politischen Handelns im Rahmen von digitaler Kultur, Aktivismus und sozialer Gerechtigkeit zu entdecken und zu betreten. Das Programm umfasst eine Reihe von internationalen Konferenzen, Panels und Meetups in Berlin, die Macht- und Unrechtssysteme aufdecken. Die Allianz Foundation unterstützt die Konferenz SMART PRISONS 2023, die Überwachungssysteme rund um Gefängnisse, Haftanstalten und Grenzen untersucht.

"Technologien sind nie neutral"

Ein Gespräch mit Petra Molnar, Sprecherin auf der Konferenz des Disruption Network Labs Smart Prisons Conference im März 2023. Petra Molnar ist eine international anerkannte Expertin für Migration und Technologie. Das Interview wurde aus dem Englischen übersetzt. Das Original finden Sie hier.

Was sind Migrationstechnologien und welche Rolle spielen sie im europäischen Grenzkontrollsystem? Sie haben in diesem Zusammenhang das Ökosystem der Technologien für Migrationsmanagement erwähnt – können Sie uns das näher erläutern?

Grenz- und Migrationstechnologien können einer Person an jedem Punkt ihrer Reise begegnen. Bevor man überhaupt eine Grenze überschreitet, können bereits prädiktive Analysen erstellt werden, die im humanitären Rahmen oder bei der Erfassung biometrischer Daten verwendet werden. An der Grenze können Drohnenüberwachung, Schallkanonen und Wärmebildkameras zum Einsatz kommen. Wenn man sich in einem europäischen Flüchtendenlager befindet, kann man mit algorithmischer Bewegungserkennungssoftware oder verschiedenen Überwachungs- und Biometriefunktionen in Berührung kommen. Und selbst wenn man die Möglichkeit bekommt, Asyl zu beantragen, kann man Voice-Printing-Technologien und dem Scraping der Social-Media-Kanäle unterzogen werden.

Auch die Grenzen selbst verschieben und verändern sich, da Überwachung und neue Technologien unser Verständnis der europäischen Grenzen über ihre physischen Grenzen hinaus erweitern und eine Überwachungs-Rasterfahndung bis nach Nord- und Subsahara-Afrika und in den Nahen Osten hinein ermöglichen. Diese experimentellen und risikoreichen Technologien entstehen in einem Umfeld, in dem technologische Lösungen als praktikable Lösungen für komplexe soziale Probleme vorgeschlagen werden. So soll ein lukratives Ökosystem für einen milliardenschweren Industriekomplex an der Grenze geschaffen werden.

Welche Auswirkungen hat der Einsatz von künstlicher Intelligenz und automatisierten Technologien auf die Menschenrechtssituation in der Migrationskontrolle?

Technologien sind nie neutral – sie replizieren bestehende Vorurteile und Machtunterschiede in unserer Gesellschaft und schaffen neue Risiken. Wenn sie in Bereichen wie Grenz- und Migrationskontrolle eingesetzt werden, die risikobehaftet, sehr intransparent und willkürlich sind, kann es zu einer Vielzahl von Menschenrechtsverletzungen kommen. Wir wissen, dass Gesichtserkennung und algorithmische Entscheidungsfindung People of color, Frauen und unterschiedlich befähigte Menschen diskriminieren können. Der wahllose Datenaustausch von sensiblen persönlichen Daten mit Strafverfolgungsbehörden oder sogar repressiven Regierungen, denen Personen zu entfliehen versuchen, ist nicht nur gefährlich, sondern verletzt auch das Recht der Menschen auf Privatsphäre. Der Einsatz von Überwachungstechnologien an Land- und Seegrenzen und die Verhinderung der Einreise von Menschen in das europäische Hoheitsgebiet verstößt nicht nur gegen das internationale Flüchtlingsrecht, sondern kann auch das Recht der Menschen auf Leben, Freiheit und Sicherheit der Person beeinträchtigen. Dies sind nur einige der vielen menschenrechtlichen Risiken von Migrationskontrolltechnologien, doch die Projekte sind nach wie vor weitgehend unreguliert und intransparent.

“Technologien sind nie neutral – sie replizieren bestehende Vorurteile und Machtunterschiede in unserer Gesellschaft und schaffen neue Risiken.”

Welche Erfahrungen haben Sie mit diesen Technologien in der Praxis gemacht? Sie haben mit vielen Betroffenen gesprochen. Wie äußern sie sich?

Seit 2018 habe ich als Juristin und Anthropologin viel Zeit mit Menschen verbracht, die an den scharfen Rändern der technologischen Innovation stehen. Von der Grenze zwischen den USA und Mexiko in der Wüste Arizonas über die Grenze zwischen Kenia und Somalia bis hin zu verschiedenen Flüchtlingslagern in der EU, habe ich immer wieder aus erster Hand gesehen, welche Auswirkungen die Grenzüberwachung und Automatisierung auf das Leben der Menschen hat. Es ist nicht meine Aufgabe, zu verallgemeinern oder für andere Menschen zu sprechen, aber einige Themen fallen mir immer wieder auf: dass Menschen das Gefühl haben, ständig überwacht oder auf Datenpunkte und Fingerabdrücke reduziert zu werden.

Viele Menschen weisen auch darauf hin, wie seltsam es ihnen erscheint, dass an Orten wie Flüchtendenlagern riesige Geldsummen in Hochrisikotechnologien gesteckt werden, während sie keinen Zugang zu einem Anwalt oder psychosozialer Unterstützung oder in einigen Fällen sogar zu angemessener Nahrung und Wasser haben. Es gibt auch ein zentrales Missverständnis in vielen Border-Tech-Projekten – dass mehr Technologie die Menschen davon abhalten wird, zu kommen. Aber das ist nicht der Fall, was ich aus erster Hand gesehen habe. Stattdessen werden die Menschen gezwungen, gefährlichere Routen zu nehmen, was zu noch mehr Todesfällen an den Grenzen Europas führt.

Was sind Ihre wichtigsten Empfehlungen, um diese Menschenrechtsverletzungen zu beenden?

Es gibt wenig Regulierung, um die Entwicklung und den Einsatz von Hochrisiko-Grenztechnologie zu steuern. Das von der EU vorgeschlagene KI-Gesetz ist ein vielversprechender Schritt und der erste geographisch begrenzte Versuch weltweit, KI zu regulieren. Derzeit geht das Gesetz jedoch nicht weit genug, um Menschen in Fluchtbewegungen angemessen zu schützen. Ein Moratorium oder ein Verbot von Hochrisiko-Grenztechnologien wie Robo-Dogs, KI-Lügendetektoren und prädiktiven Analysen, die für Verbote von Grenzübertritten eingesetzt werden, wäre ein notwendiger Schritt in der globalen Auseinandersetzung mit dem Thema.

Wir brauchen auch mehr Transparenz und Rechenschaftspflichten in Bezug auf Experimente mit Grenztechnologien. Menschen mit gelebten Migrationserfahrungen müssen bei allen Diskussionen im Vordergrund stehen. Denn am Ende geht es nicht wirklich um Technologie. Worüber wir sprechen, ist Macht – und die Machtunterschiede zwischen Akteuren wie Staaten und dem privaten Sektor, die über Versuchs-Projekte entscheiden, und den Communities, die zum Testgelände in diesem Hochrisikolabor werden. Warum entwickeln wir KI-Lügendetektoren, um sie an Flüchtlingen zu testen, wenn wir KI einsetzen könnten, um Rassismus an der Grenze zu eliminieren?  Das sind alles bewusste Entscheidungen. Was können wir in diesen unsicheren Zeiten gemeinsam tun, um diese Narrative zu verändern?

Zur Person

Petra Molnar befasst sich mit Technologien, die bei der Inhaftierung von Migrant*innen zum Einsatz kommen. Praktiken der Grenzgewalt stützen sich zunehmend auf risikoreiche technologische Experimente. Voice-Printing, Telefonüberwachung und elektronische Fußfesseln sind nur einige der neueren Instrumente, die Staaten einsetzen, um Menschen auf der Flucht festzuhalten. Bestimmte Orte wie Flüchtlingslager und Haftanstalten dienen als Testgelände für neue Technologien, da Regulierung und Aufsicht begrenzt sind und eine "Alles ist erlaubt"-Haltung an der Grenze einen wachsenden und lukrativen milliardenschweren Grenzkomplex unterstützt.

Petra Molnar © Kenya-Jade Pinto

Petra Molnar © Kenya-Jade Pinto