Herr Kozlovski, mit welchen Gedanken und Gefühlen blicken Sie auf den jetzigen Krieg?
Mein erster Gedanke galt der Sinnlosigkeit dieses Konflikts. Die Geiseln leiden, ihre Angehörigen leiden, die Menschen, die aus dem Norden und Süden Israels vertrieben worden sind, leiden. Die Strategie der Hamas scheint darin bestanden zu haben, so viel Schaden wie möglich anzurichten und sich dann zu verstecken. Mit Schrecken denke ich an die 2,3 Millionen Menschen im Gazastreifen, von denen die meisten in keiner Weise aktiv an diesem Konflikt beteiligt sind und die nun den grössten Teil des Leids zu tragen haben. Im öffentlichen Diskurs existiert nur noch Gut gegen Böse. Viele Israeli halten die Situation der Menschen im Gazastreifen zwar für traurig, glauben aber, dass sie selbstverschuldet ist. Das ist niederschmetternd.
Sie befassen sich intensiv mit den ethischen Aspekten von künstlicher Intelligenz (KI). In einem Artikel für Tech Policy Press, einer Onlineplattform für Technologie und Demokratie, haben Sie Israels Einsatz von KI im Krieg gegen die Hamas als «moralischen Bankrott» bezeichnet. Was verstehen Sie darunter?
Die Nachfrage nach KI-Anwendungen ist riesig – sowohl im zivilen als auch im militärischen Bereich. Das verleitet manche dazu, KI-Systeme auch für Aufgaben einzusetzen, bei denen es um Leben und Tod oder um die soziale Stellung von Menschen geht. Von einem moralischen Bankrott würde ich sprechen, wenn ethische Bedenken dabei bewusst ignoriert werden.
Atay Kozlovski forscht am Philosophischen Seminar der Universität Zürich zu Bereichen der Angewandten Ethik. Er befasst sich insbesondere mit dem Einsatz künstlicher Intelligenz. Kozlovski hat an den Universitäten Tel Aviv und Bern Philosophie studiert und an der Universität Zürich doktoriert. Vor seinem Studium leistete er fast fünf Jahre lang Dienst in der israelischen Armee. Er lebt mit seiner Familie im Kanton Thurgau.
Welche ethischen Bedenken meinen Sie?
Das unterscheidet sich von Anwendungsfall zu Anwendungsfall. Grundsätzlich geht es um die Frage, wer durch die Anwendung von KI welchen Schaden erleiden könnte. Und welche Lebensrealitäten wir damit kreieren. Der Einsatz von KI gleicht derzeit einem grossen sozialen Experiment, weil wir die Auswirkungen der Technologie nicht kennen.
Vielen von uns sind Beispiele bekannt, die zeigen, wie der Einsatz von KI die soziale Stellung von Personen beeinflussen kann; in Bewerbungsverfahren können Algorithmen etwa Ungerechtigkeiten verstärken. Welche Beispiele kennen Sie?
Vor einigen Jahren gab es einen grossen Skandal in den Niederlanden. Die Behörden hatten mit Hilfe von KI versucht, Sozialleistungsbetrug nachzuweisen. Tausende Familien mit Kindern wurden vom System verdächtigt und verpflichtet, grosse Summen zurückzuerstatten – zu Unrecht, wie sich herausstellte. Die Konsequenzen für Betroffene waren Konkurse, Depressionen und sogar Suizide. Manchen Familien wurden die Kinder weggenommen.
Zurück zu KI im Krieg. Anlass für Ihren Vorwurf des «moralischen Bankrotts» war ein Text des linksorientierten israelisch-palästinensischen Onlinemagazins «+972». Es berichtete über drei KI-Systeme, die Israel im Kampf gegen die Hamas einsetzen soll. Wie funktionieren diese Systeme konkret?
Viele gesicherte Informationen gibt es dazu nicht. «The Lavender» soll eine Art soziales Punktesystem sein. Es beurteilt anhand riesiger Datenmengen, wie wahrscheinlich es ist, dass eine Person einer terroristischen Organisation angehört, und beziffert die Wahrscheinlichkeit dann mit einem prozentualen Wert. Das andere System, «The Gospel», liefert Empfehlungen für die Bombardierung von Infrastruktur – dabei kann es sich neben militärischen Einrichtungen auch um Wohngebäude, Fabriken oder Geschäfte handeln. Zudem gibt es noch das Überwachungssystem «Where’s daddy?», das mit den beiden anderen Systemen kommuniziert und Informationen zu Aufenthaltsorten von verdächtigten Personen gibt.
«In früheren Kriegen gingen der Armee nach eigenen Angaben schon nach kurzer Zeit die Angriffsziele aus. «The Gospel» hingegen soll täglich 100 neue Ziele zur Bombardierung vorgeschlagen haben.»
Woher stammen die Daten für diese Systeme?
Das ist nicht klar. Wahrscheinlich von Drohnenaufnahmen, Bildern aus Überwachungskameras, Handydaten, Social-Media-Feeds, Patientenakten und vielem anderem mehr. «The Lavender» und «The Gospel» werden mit allen verfügbaren Informationen gefüttert und suchen dann nach Zusammenhängen und Mustern, die der menschlichen Aufmerksamkeit entgehen. So funktionieren im Prinzip alle Big-Data-Systeme. Mit derselben Methode versuchen Forschende beispielsweise auch, die Ursachen für Alzheimer oder die Entstehung verschiedener Tumorarten besser zu verstehen.
Welchen Nutzen zieht Israel aus dem Einsatz solcher Systeme?
In früheren Kriegen gingen der Armee nach eigenen Angaben schon nach kurzer Zeit die Angriffsziele aus. «The Gospel» hingegen soll täglich 100 neue Ziele zur Bombardierung vorgeschlagen haben. Bei «The Lavender» sollen es in den ersten paar Tagen 37 000 menschliche Ziele gewesen sein. Eine Person alleine wäre nie in der Lage, so grosse Datenmengen auszuwerten – der Kommandant einer Einheit des Nachrichtendienstes sprach in diesem Zusammenhang vom Menschen als «Flaschenhals» in diesem Prozess. Zudem besteht die Hoffnung, dass KI weniger Fehler macht als Menschen. Wenn es um die militärische Anwendung geht, ist das stärkste Argument aber ein anderes.
Wie lautet es?
Der Schutz der eigenen Leute. Die Politiker eines Landes sind moralisch dazu verpflichtet, die Bürgerinnen und Bürger zu schützen. Ein Weg besteht darin, einen Roboter oder eine Drohne statt eines Soldaten auf dem Schlachtfeld einzusetzen. Stellen Sie sich vor, Sie müssten als Politiker den Eltern von jungen Soldaten erklären, dass sie zwar über eine Technologie verfügen, die das Leben ihres Sohnes oder ihrer Tochter retten könnte – aber diese nicht einsetzen wollen. Sie würden als verrückt betrachtet. Diesem moralischen Argument für den Einsatz von KI stehen aber viele Einwände gegenüber.
Welche?
Erstens können KI-Systeme die Schwelle senken, ab der wir bereit sind, in den Krieg zu ziehen. Sobald wir nicht mehr die eigenen Leute an die Front schicken müssen, sind wir eher bereit, auf diplomatische Bemühungen zur Deeskalation zu verzichten und stattdessen tödliche Gewalt anzuwenden. Zweitens besteht die Gefahr der Entmenschlichung, wenn wir viele Leute gleichzeitig angreifen. Und schliesslich führen die Systeme zu einer Verantwortungslücke. Welche Person ist moralisch und rechtlich verantwortlich, falls das System Fehler macht?
Gehört Entmenschlichung nicht zu jeder Kriegsstrategie?
Das ist so, ja. Der bekannte israelische Philosoph Yeshayahu Leibowitz schrieb, dass es in der Natur eines kolonialistischen Besatzungsregimes liegt, die Herrscher zu korrumpieren und sie mit Dummheit und Grausamkeit anzustecken. Als ich kurz vor meinem 18. Geburtstag in die Armee ging, war ich hin und her gerissen zwischen Pflichtgefühl und Kritik am eigenen Land. Israel hat ein Recht auf Selbstverteidigung. Für mich heisst das aber nicht, eine antiarabische oder antipalästinensische Ideologie zu vertreten.
Am 7. Oktober 2023 hat die palästinensische Terrororganisation Hamas Israel angegriffen und dabei über 1100 Menschen getötet sowie knapp 250 Personen entführt. Es handelt sich um den schlimmsten Gewaltakt an israelischen Zivilisten seit dem Unabhängigkeitskrieg 1948. Israel hat auf die Terrorattacke mit dem Einmarsch in den Gazastreifen reagiert. Ziel der israelischen Regierung ist es, die Hamas zu zerstören. Seit Beginn der Kämpfe sollen über 39 000 Menschen im Gazastreifen ums Leben gekommen sein, darunter viele Zivilisten. Grosse Teile des Gazastreifens sind zerstört. Bis heute hält die Hamas über 100 israelische Geiseln in Gefangenschaft.
Wie unterscheidet sich die Entmenschlichung durch KI von der Entmenschlichung durch Menschen?
Bei KI besteht die Entmenschlichung darin, dass die Entscheidung über Leben und Tod an einen Algorithmus delegiert wird. Der Mensch wird von der Rolle des Täters befreit. Er muss sich nicht mehr für etwas schämen, das er getan hat. Wenn der Algorithmus sagt, ein kleines Kind müsse getötet werden, dann ist das Mathematik. Der australische Ethiker Robert Sparrow hat schon 2007 in einem Artikel geschrieben, dass wir unsere Gegner so nicht nur töten. Wir degradieren sie zu «Ungeziefer», das vernichtet werden muss.
Die besprochenen Systeme geben Empfehlungen ab. Entscheiden muss der Mensch.
Technologie ist nie neutral. In ihre Entwicklung fliessen immer ethische Werte ein, nach denen sie schliesslich Entscheidungen trifft. «The Lavender» und «The Gospel» stehen wegen ihrer schnellen und vielen Berechnungen für Geschwindigkeit und Quantität. Plötzlich existieren Tausende potenzielle Ziele auf einmal. Das treibt auch die Todeszahlen in extreme Höhen.
Ein Argument für den Einsatz von KI lautet, dass sie weniger Fehler macht als Menschen.
Im Artikel von «+972» steht, dass «The Lavender» bei Tests zur Identifikation von bekannten Verdächtigen etwa in 90 Prozent der Fälle richtig lag. Das heisst: von den 37 000 Zielen wären 3700 Personen fälschlicherweise auf der Tötungsliste gelandet. Zu Beginn des Kriegs sollen die Soldaten eine Empfehlung des Systems aber nur gerade 20 Sekunden überprüft haben, bevor sie einer Bombardierung zugestimmt haben.
Wie erklären Sie sich das?
Maschinen vermitteln uns einen Anschein von wissenschaftlicher Objektivität und Genauigkeit. Wir tendieren dazu, ihnen auch dann zu vertrauen, wenn sie Fehler machen – auch bekannt als «automation bias». In Hawaii gibt es eine Strasse, die dafür bekannt ist, dass GPS-Systeme mit ihr Probleme haben. Autofahrer, die sich voll auf ihr Navi verlassen, riskieren, im Hafenbecken zu landen. In Situationen, in denen es um viel geht, vor allem wenn die Sicherheit oder das Leben bedroht sind, sollte der «automation bias» uns daran erinnern, kritisch zu bleiben.
«Algorithmen können gesellschaftliche Vorurteile reproduzieren – entweder, weil wir sie so programmieren oder weil die Vorurteile in den Daten stecken, mit denen wir sie trainieren.»
Im Fall des Navigationsgeräts müssen Autofahrer die Augen offenhalten. Welche Möglichkeiten haben Soldaten, um die Entscheidungen von «The Lavender» zu überprüfen?
Wenige. KI-Systeme sind mittlerweile so komplex, dass selbst die Entwickler nicht mehr nachvollziehen können, wie ein bestimmter Input zu einem bestimmten Resultat führt. Wir können somit auch kein Gefühl dafür entwickeln, in welchen Fällen KI-Systeme falschliegen. Dabei handelt es sich um das klassische Blackbox-Problem. Und es ist nicht das einzige.
Welche gibt es noch?
Nehmen wir an, «The Lavender» hält eine Person mit 33- oder 67prozentiger Wahrscheinlichkeit für einen Terroristen. Was bedeutet diese Zahl genau? Wie hat das System einzelne Informationen wie Standorte, familiäre Verbindungen, Whatsapp-Gruppen oder besuchte Bildungsinstitutionen dieser Person gewichtet und verknüpft, um darauf zu kommen? Und auf welcher Grundlage sollen wir entscheiden, ab welchem Wert wir Menschen töten? Das System stellt womöglich Zusammenhänge her, die für uns absolut keinen Sinn ergeben oder moralisch inakzeptabel sind. Dieses Phänomen heisst algorithmische Verzerrung.
Was ist damit gemeint?
Algorithmen können gesellschaftliche Vorurteile reproduzieren – entweder, weil wir sie so programmieren oder weil die Vorurteile in den Daten stecken, mit denen wir sie trainieren. Wenn wir ethische Überlegungen nicht in den Algorithmus einbauen oder bei der Auswahl der Daten berücksichtigen, dann stützen die Systeme ihre Empfehlungen auf den Ist-Zustand der Welt.
Können Sie dafür ein Beispiel nennen?
In den USA verwenden diverse Gerichte einen Algorithmus, um zu bestimmen, wie wahrscheinlich es ist, dass eine verurteilte Person in Zukunft wieder eine Straftat begeht. Wie die Recherche investigativer Journalisten gezeigt hat, stuft der Algorithmus das Risiko bei schwarzen Personen systematisch höher ein als bei weissen und beeinflusst so die Entscheidungen der Richterinnen und Richter. Ein anderer Algorithmus im Gesundheitswesen sollte errechnen, wie riskant eine Vaginalgeburt ist für Frauen, die bereits ein Kind durch Kaiserschnitt zur Welt gebracht haben. Bei afroamerikanischen oder hispanischen Frauen wurde das Risiko systematisch höher beurteilt, was zu mehr medizinisch belastenden Eingriffen geführt hat.
Die Uno strebt bis 2026 ein völkerrechtliches Verbot autonomer Waffensysteme und eine Regulierung teilautonomer Waffensysteme an. Im Dezember 2023 haben 152 Mitgliedstaaten einer Resolution zugestimmt, in der auf die Gefahren autonomer Waffensysteme hingewiesen wird. Vier Staaten haben die Resolution abgelehnt, elf haben sich enthalten. Unter letzteren befand sich auch Israel, das laut der Uno neben China, Indien, Iran und der Türkei stark in autonome Waffensysteme investiert. Uno-Generalsekretär António Guterres bezeichnete autonome Waffensysteme bereits 2018 als moralisch verwerflich und politisch inakzeptabel. Er argumentierte unter anderem damit, dass die Verantwortung über Leben und Tod nicht an Maschinen übertragen werden dürfe. Ausserdem könnten solche Systeme unerwartete und für uns unerklärliche Entscheidungen treffen.
Gemäss der Uno gilt ein Waffensystem als autonom, wenn es nach seiner Aktivierung ohne menschliches Eingreifen Ziele erkennen und angreifen kann. Die meisten dieser Systeme werden zur Verteidigung eingesetzt. Dazu gehören beispielsweise Antipersonenminen — die seit 1999 international geächtet sind — oder Raketenabwehrsysteme. Zu autonomen Angriffswaffen zählen etwa Explosionsdrohnen, die mehrere Stunden über einem bestimmten Gebiet fliegen und vordefinierte Ziele wie Panzer, Radaranlagen oder Soldaten angreifen können. Die ersten autonomen Waffensysteme existieren laut der Uno seit den 1980er Jahren, zunächst noch ohne künstliche Intelligenz (KI). Mit KI seien die Systeme jedoch zunehmend in der Lage, Entscheidungen selbständig an die Umstände anzupassen. Ausserdem komme KI — wie im Fall der Systeme, die Israel im Krieg gegen die Hamas einsetzt — als Entscheidungshilfe für Menschen zum Einsatz.
Wir sprachen eingangs darüber, welche Einwände es gegen die militärische Anwendung von KI-Systemen gibt. Sie sagten unter anderem, es komme zu einer Verantwortungslücke. Was bedeutet das genau?
Weil so viele Leute an der Entwicklung und Nutzung des Systems beteiligt sind, stehen wir vor dem «Problem der vielen Hände». Keine der beteiligten Personen hatte genug Wissen zum System oder genug Kontrolle darüber, um das Resultat vorhersehen zu können und damit als moralisch verantwortlich zu gelten.
Rechtlich könnten wir aber sehr wohl eine der beteiligten Personen verantwortlich dafür machen.
Natürlich könnten wir das tun. Aber das beantwortet die Frage nicht, wer moralisch verantwortlich ist. Die rechtliche Verantwortung befasst sich mit der Frage der Strafe, die moralische Verantwortung mit der Frage der Schuld – mit anderen Worten, welche Handlung richtig oder falsch ist.
Wie lässt sich das Problem der fehlenden Kontrolle und Verantwortung lösen?
Das ist eine schwierige Frage. Nur die Berechnungen des Systems zu sehen würde uns kaum weiterhelfen, da wir sie nicht verstehen. Was es bräuchte, wäre eine «kuratierte» Form von Transparenz. So wie menschliche Experten uns gute Gründe für ihre Empfehlungen liefern, müssten das auch KI-gestützte Entscheidungshilfen tun. Dann sind wir auch in der Lage, die Empfehlungen nachzuvollziehen und in Frage zu stellen.
Was bedeutet das für ein System wie «The Lavender»?
Ich bin äusserst skeptisch, dass sich ein System wie «The Lavender» überhaupt so gestalten liesse, dass es ethisch vertretbar wäre. Dafür handelt es sich um einen zu krassen Missbrauch dieser Technologie. Im allgemeinen glaube ich jedoch, dass KI-Anwendungen über ein grosses Potenzial verfügen. Menschliche Entscheidungen sind von Stimmungsschwankungen, Inkonsistenz und kognitiven Beschränkungen geprägt. Studien haben beispielsweise gezeigt, dass alleine in den USA jährlich 20 000 bis 50 000 Menschen in Spitälern aufgrund menschlicher Fehler sterben. KI-Systeme können uns dabei helfen, solche Fehler zu verhindern. Dafür müssen sie jedoch mit der nötigen Sorgfalt entwickelt und eingesetzt werden.
