Risiken autonomer Waffen und ethische Bedenken

Vor wenigen Jahren war die Zusammenarbeit mit dem Militär für viele Tech-Firmen noch ein Tabu. Doch jetzt zieht KI in den Krieg ein: Google strich kürzlich einen Passus aus seinen Statuten, wonach künstliche Intelligenz (KI) nicht dazu verwendet werden soll, Schaden anzurichten. Das französische KI-Startup Mistral und das deutsche Militär-Tech-Startup Helsing verkündeten im Februar eine Zusammenarbeit, zur «Gewährleistung der Sicherheit der europäischen Demokratien».

Woher kommt dieses Umdenken? Und sollte es uns Sorgen bereiten? Darüber spricht die «NZZ am Sonntag» mit Elke Schwarz, Professorin für politische Theorie an der Queen Mary Universität in London. Sie beschäftigt sich seit über zehn Jahren damit, wie Technologien den Krieg verändern, und setzt sich für eine Regulierung von KI-basierten Waffensystemen ein.

Frau Schwarz, wie sehen Sie die angekündigte Zusammenarbeit zwischen dem Militär-Startup Helsing und dem KI-Startup Mistral?

Helsing spricht gerne davon, dass KI helfen könne, Demokratien zu unterstützen und zu schützen. Meines Erachtens sind das Werbeslogans. Helsing mag sicherheitspolitisch relevant sein, aber in erster Linie stehen hinter diesen grossen Worten wirtschaftliche Interessen. Helsing ist ein Startup, unterstützt von zahlreichen Risikokapitalgebern. Diese wollen den Firmenwert von Helsing wachsen sehen, damit sich ihre Investitionen lohnen. Und dafür braucht es grosse Versprechen.

Google hat kürzlich einen Passus aus seinen Statuten gestrichen, wonach KI nicht dazu verwendet werden soll, Schaden anzurichten. Wie erklären Sie sich den Sinneswandel?

Google ist kein Fremder im Verteidigungsbereich. Es hat zwar 2018 eine KI-Kooperation mit dem Militär, «Project Maven», nicht verlängert, weil Angestellte grosse Proteste organisiert hatten. Aber Google hat danach immer noch mit dem Militär zusammengearbeitet, beispielsweise als Cloud-Anbieter. Alle grösseren KI-Firmen von Meta bis Microsoft bieten heute ihre Produkte dem Militär an. Google will auf dieses Geschäft nicht verzichten. Es lohnt sich finanziell, bringt aber auch Einfluss. Geschäftsbeziehungen zum Verteidigungsbereich bedeuten auch eine gewisse Macht, und Google will dabei sein. Die Idee, dieser Konzern würde sich da irgendwie zieren, ist schon länger nicht mehr haltbar.

Damals gab Google dem Protest der Angestellten nach, die in KI für den Krieg einen Schritt Richtung Tötungsmaschine sahen. Interessiert das heute keinen mehr?

Eine moralische Grenze zwischen Tech- und Militärindustrie gibt es schon lange nicht mehr. Tech-Startups wie etwa das Software-Unternehmen Palantir oder das Drohnen-Startup Anduril sind de facto Rüstungsunternehmen. Und laute Stimmen in der Tech-Industrie sagen, es sei ethischer, sich der Entwicklung von Produkten für den Krieg zu widmen, als dies nicht zu tun.

Was hat sich verändert?

Es gab drei Veränderungen. Wirtschaftlich war der Rüstungsbereich für Tech-Unternehmen und Risikokapitalgeber lange uninteressant. Der Markt war zwischen den grossen Rüstungsunternehmen aufgeteilt. Mit Konsumenten im zivilen Bereich konnte man viel mehr verdienen. In den vergangenen Jahren begann sich das zu wandeln. Die Verteidigungsindustrie will sich modernisieren, setzt auf Digitalisierung und KI. Das machte den Markt für Startups – beziehungsweise deren Risikokapitalgeber – attraktiver.

Was war die zweite Veränderung?

Das Silicon Valley begann, zu überlegen, welche zivilen Anwendungen auch im militärischen Bereich nützlich sein könnten. Russlands Angriff auf die Ukraine hat diesen Stimmungswandel weiter zementiert. Seitdem muss es in der Rüstungsbeschaffung viel schneller gehen. Schlanke Strukturen und schnelle Prozesse, das können Tech-Unternehmen gut. Diese Kultur wollen sie nun in den Verteidigungsbereich einbringen. Und die dritte Veränderung ist, dass Jobs bei Big Tech heute nicht mehr so sicher sind wie früher. Angestellte gehen kaum mehr auf die Strasse, sondern arrangieren sich auch mit Dingen, die ihnen nicht gefallen.

Das Silicon Valley ist seit je eng mit dem Militärbereich verbandelt. Waren die Jahre der moralischen Bedenken eine Ausnahme, und jetzt kehren wir zur Normalität zurück?

Nicht ganz. Denn es hat sich etwas grundlegend verändert: Die Richtung, in die die Innovation fliesst, hat sich umgedreht. Früher war es das Militär, das bei solchen Kooperationen überlegte, was es brauchte, und Aufträge an Tech-Firmen vergab. Heute ist es umgekehrt. Tech-Unternehmen, wie beispielsweise Anduril, entwickeln Produkte und bieten diese dann dem Militär zum Kauf an. So entsteht eine andere Dynamik.

Verändern die modernen Systeme der Tech-Firmen den Krieg?

Ja. Das Versprechen ist, dass der Krieg einfacher und effizienter wird. Das kann die Hemmung senken, einen Krieg zu beginnen. KI kann Kriege auch beschleunigen. Derzeit wird sie etwa zur Datenverarbeitung genutzt, wofür es sonst ganze Teams von Menschen braucht. KI kann viel grössere Datenmengen viel schneller verarbeiten. So kann sie viel schneller und viel mehr Angriffsziele vorschlagen.

Was hat das für Konsequenzen?

Nehmen wir an, eine Kriegspartei wägt ab, ob es ethisch vertretbar ist, ein Dorf anzugreifen. Damit ein solcher Angriff gerechtfertigt ist, muss das Dorf von genügend strategischer Bedeutung sein. Wenn man einen solchen Entscheid anhand einer KI-gestützten Datenauswertung trifft, bedeutet das, dass der Mensch ein gewisses Mass an Kontrolle abgibt. Das führt wiederum dazu, dass die menschliche Verantwortung in den Hintergrund rückt. Und je weiter sie in den Hintergrund rückt, desto grösser ist die Wahrscheinlichkeit, dass Kriege härter, brutaler, tödlicher werden.

Könnte man in diese KI-Systeme nicht auch ethische Schranken einbauen?

Im Krieg müssen Entscheide oft schnell getroffen werden. In der Theorie kann KI helfen, durch mehr Informationen bessere, rationalere Entscheide zu treffen. Aber die Praxis ist komplexer. Der Mensch muss im Krieg unter enormem Zeitdruck Entscheide fällen. Wenn eine KI immer schneller immer mehr Ziele vorschlägt, hat das zur Folge, dass immer weniger Zeit bleibt, einzelne Zielvorschläge der KI zu hinterfragen, abzuwägen. Es besteht die Gefahr, dass die Maschinenlogik, dieses Immer-schneller-immer-mehr, überhandnimmt. Deshalb sollte man einmal innehalten und darüber Nachdenken, welche Waffensysteme man entwickelt.

Angesichts der Weltlage können die USA und der Westen nicht einfach die Entwicklung moderner Kriegstechnologie unterbrechen. Sonst werden sie von China und anderen autoritären Staaten überholt.

Absolut. Es wäre naiv, zu sagen, man lasse die Entwicklung neuer Waffen aufgrund moralischer Bedenken sein. Dennoch sollte man sich fragen, ob gewisse Waffensysteme gegen das humanitäre Völkerrecht oder eine ethische Kriegsführung verstossen. Rüstungsfirmen wie Anduril oder Palantir geben diesbezüglich besonders laute und perfide Statements ab. Geht es nach ihnen, sollten autonome Drohnenschwärme Menschen töten. Wir müssen uns überlegen, was die Konsequenzen dieser Entwicklung wären. Solche Waffen könnten die ganze internationale Sicherheitsordnung verändern, die Welt unsicherer machen. Deshalb muss man sich zusammensetzen und überlegen, wo man eine Grenze zieht.

Wie soll das gehen?

Beispielsweise mit dem Uno-Waffenübereinkommen. Dieses regelt das Verbot von Waffen, die übermässiges Leid verursachen. In diesem Rahmen debattieren Experten seit neun Jahren darüber, wie man mit autonomen Waffen umgehen solle. Viele Länder fordern ein rechtlich bindendes Verbot von autonomen Waffen, die selbständig menschliche Ziele identifizieren und angreifen.

Ein Verbot würde die Entwicklung autonomer Waffen kaum stoppen.

Aber immerhin würde es zu einer ähnlichen Situation führen, wie wir sie bei Atomwaffen haben. Es gibt zwar obszön viele Atomwaffen, trotzdem haben sich viele Länder verpflichtet, auf eigene Atomwaffen zu verzichten.

Sind Länder wie die USA und China an diesen Diskussionen zur Regulierung von autonomen Waffen beteiligt?

Wenig überraschend lehnen genau die Länder eine Regulierung ab, die bei der Entwicklung der Technologie am weitesten sind. Aber immerhin besteht zwischen den USA und China ein Minimalkonsens: Sie sagen, Menschen müssten weiterhin ein beträchtliches Mass an Kontrolle über KI-Systeme ausüben. Und man ist sich einig, dass KI nicht in die Nähe von Atomwaffen gehört.

Die gegenwärtige geopolitische Lage macht wenig Hoffnung auf Erfolge bei der Regulierung von Waffen.

In der Vergangenheit hat man es auch schon geschafft, in unsicheren Weltlagen Regeln einzuführen: Zum Beispiel hat man gewisse Landminen und blind machende Laser durch das Uno-Waffenübereinkommen verboten. Mit Ausdauer und politischem Willen können Verbote umgesetzt werden, auch bei autonomen Waffen.

Atomwaffen wurden erst verboten, nachdem die ganze Welt ihre Zerstörungskraft gesehen hatte. Glauben Sie wirklich, dass autonome Waffen entscheidend reguliert werden, bevor etwas Verheerendes passiert?

Nein, leider. Ich fürchte, die Menschheit ist ausserstande, solche Dinge früh genug zu regeln. Wir Menschen können uns nicht vorstellen, wie schlimm der Einsatz von autonomen Waffen eskalieren könnte.

Ein Artikel aus der «»