Nils Biedermann, LL.M., LL.M.*

In aktuellen militärischen Konflikten zeigt sich die zunehmende Rolle von Drohnen. Einen Schritt weiter gehen KI-gestützte autonome Waffensysteme. Der aktuelle Koalitionsvertrag sieht vor, sich für die Ächtung von Waffensysteme einzusetzen, die der Verfügung des Menschen entzogen sind.1 Die Diskussion bewegt sich jedoch nicht nur auf politischer Ebene, sondern wirft auch aus juristischer Perspektive insbesondere Fragen im Bereich des Humanitären Völkerrechts und der Regulierung von KI auf.

I. Definition autonomer Waffensysteme

Es gibt aktuell keine einheitliche Definition, sondern unterschiedliche Definitionsansätze. Das Internationale Komitee des Roten Kreuzes (ICRC) stellt auf die kritischen Funktionen des Systems ab, wenn das System selbstständig ohne menschliches Eingreifen Ziele auswählen kann und diese angreifen kann, dann ist das System als autonom anzusehen.2

Weit verbreitet ist ein dreistufiges System zur Kategorisierung anhand des Grades der Autonomie. Dieses unterscheidet zwischen nichtautonomen, semi-autonomen und autonomen Systemen. Demnach ist bei einem nicht autonomen System ein Mensch für den operationalen Einsatz zuständig (Human-in-the-Loop) und steuert das System zumindest aus der Ferne, im allgemeinen Sprachgebrauch sind hiermit Drohnen gemeint, auch als „Unmanned Aerial Vehicles“ bezeichnet oder im militärischen Kontext oft auch als „unbemannte Waffensysteme“ genannt. Beim semi-autonomen System operiert das System autonom, jedoch wird es durch menschliche Überwachung kontrolliert und es besteht die Möglichkeit des Eingreifens durch einen menschlichen Überwacher (Human-on-the-Loop). Ein autonomes System agiert vollständig losgelöst von menschlicher Steuerung oder Kontrolle (Human-out-of-the-Loop).3

Als Begriff für solche vollständig autonomen Waffensysteme hat sich „Lethal Autonomous Weapon Systems“ (LAWS) etabliert, durch die Directive 3000.09 des US-Verteidigungsministeriums aus dem Jahr 2021. Das US-Verteidigungsministerium bezeichnet LAWS als ein aktiviertes Waffensystem, das Ziele auswählen und bekämpfen kann, ohne dass ein Mensch eingreifen muss.

Eine ähnliche Möglichkeit der Kategorisierung stellt das 5-Stufenmodell nach Sharkeys dar, welches ebenfalls auf der Kontrolle des Menschen über das System und der Auswahl der Ziele als operationale Ebene basiert. Dabei wird zwischen dem semi-autonomen Systemen und beginnender echter Autonomie noch feiner unterschieden und der Human-through-the-Loop eingeführt. Das System wählt Ziele selbstständig aus, der Mensch ist jedoch weiterhin die primäre Kontrollinstanz. Hingegen nach seiner Ansicht der Humanon-the-Loop nur noch als Überwacher agiert und das System ansonsten völlig autonom agiert im Bezug auf Zielauswahl und der Eliminierung des Ziels, wodurch der Mensch nur eine sehr begrenzte Zeitspanne hat, um bei einer Operation des autonomen Systems noch einzugreifen. Der Human-on-the-Loop agiert in dem Modell nur noch als Überwacher, kann jedoch im Notfall eingreifen. Durch die autonome Ausführung des Systems bei der Zielauswahl und auch dem Start beispielsweise der Raketen ist die Zeitspanne in der der Mensch noch eingreifen kann extrem verkürzt. Die begrenzte Eingriffsmöglichkeit ist für das Modell Ansatzpunkt für die genauere Untergliederung. Zudem führt Sharkey als höchste Stufe, über dem Human-out-of-the-Loop, die autonome KI ein. Dabei agiert das System nicht nur vollständig autonom, sondern kann eigenständig neue Taktiken und Missionsziele auswählen und infolge von maschinellem Lernen die Regeln anpassen, auf die er trainiert wurde.4

Trotz der schematischen Darstellung solcher Modelle sind die Grenzen fließend und Systeme lassen sich nicht immer trennscharf in die jeweiligen Stufen der Systeme eingruppieren.5

Für die juristische Sicht auf LAWS sind hingegen zwei Aspekte besonders relevant. Zum einen die Aktivierung des Systems und zum anderen die Angriffsentscheidung, unabhängig davon, wie das System im Ganzen zu bezeichnen wäre. Entscheidend ist folglich, ob die Entscheidung des Systems anhand des programmierten Algorithmus vorhersehbar ist oder als Black-Box zu bezeichnen ist, also die Entscheidung nicht nachvollzogen werden kann.6 Im Weiteren wird für die Bewertung der Human-out-of-the-Loop und die autonome KI zugrunde gelegt.

II. Der Einfluss von KI auf die Entwicklung autonomer Waffensysteme

Grundsätzlich ist der Forschungsbereich der Künstlichen Intelligenz (KI) nicht neuartig. Mit der Dartmouth Konferenz „Dartmouth Summer Research Project on Artificial Intelligence“ im Sommer des Jahres 1956 wird das Forschungsgebiet nach einhelliger Meinung begründet. Jedoch ermöglicht erst die rasante Beschleunigung der Entwicklung auf dem Feld der KI in den letzten Jahren die Entwicklung von wirklich autonomen Waffensystemen in naher Zukunft und könnte auch hier zu einem technologischen Durchbruch führen. Die Entwicklung der nächsten Jahre im KI-Bereich und die daran gekoppelte Entwicklung autonomer Waffensysteme kann nachhaltig die moderne Kriegsführung verändern. Insbesondere ermöglicht der einfache Zugang zu KI-Modellen für die breite Masse auch einen einfachen Zugang für eine Vielzahl von Staaten, die vorher keine Möglichkeit hatten, auf leistungsstarke KI-Modelle im Entwicklungsstadium zuzugreifen.

Im Gegensatz zu KI-Modellen führen klassische Computerprogramme auf Basis eines entsprechenden Algorithmus zur Lösungsfindung strikte wenn-dann-Entscheidungen aus, die in einer vorgegebenen Reihenfolge ausgeführt werden.7 KI basiert im Kern zwar auch auf Algorithmen insbesondere im Lernprozess, ermöglicht jedoch eine Entscheidungsfindung über ein einfaches wenn-dann-Szenario hinaus. Das Ergebnis hängt dabei maßgeblich von den Trainingsdaten des KI-Modells ab. Entscheidungen werden auf der Basis von Wahrscheinlichkeiten, also statistisch-probalistischen Algorithmen getroffen.

Der Einfluss und mögliche Probleme eines KI-Systems im Rahmen von autonomen Waffensystemen hängen maßgeblich von der Art des Trainings und der Trainingsdaten ab. Zu unterscheiden sind drei Arten des Trainings. Das überwachte Lernen, das unüberwachte Lernen und das verstärkende Lernen.

Beim überwachten Lernen werden die Trainingsdaten manuell gelabelt. Diese Trainingsmethode bietet sich daher insbesondere für die Zielidentifikation an. Das KI-System hat anhand von Labels gelernt zu unterscheiden, beispielsweise zwischen unterschiedlichen Panzermodellen oder Kampfjetmodellen verschiedener Hersteller. Durch die Labels ist der menschliche Einfluss auf das Training des KI-Modells möglich, um bekannte Muster und Klassifikationen in das KI-Modell einfließen zu lassen.

Beim verstärkenden Lernen wird die KI durch menschliches Feedback trainiert. Was als richtig angesehen werden soll, wird belohnt, und was als falsch angesehen soll, wird bestraft. Die KI soll dabei insbesondere dazu trainiert werden, eine Strategie zu finden, um zum vorgegebenen Ziel zu gelangen. Dabei ist das verstärkende Lernen besonders dazu geeignet, effiziente Strategien zu finden, die nicht explizit vorgegeben werden können, sondern sich im jeweiligen Moment ergeben müssen. Im militärischen Kontext wäre das beispielsweise eine optimale Manövrierstrategie im Kampfgebiet oder eine taktische Entscheidungsfindung, insbesondere in Momenten, in denen eine menschliche Entscheidung zu lange dauern würde.

Beim unüberwachten Lernen wird die KI ohne menschlichen Einfluss trainiert, dabei werden keine Labels verwendet, sondern der KI nur unstrukturierte Daten, also Daten, die keinem vordefinierten Muster folgen und unterschiedliche Formate enthalten, gegeben. Diese Form des maschinellen Lernens wird insbesondere mit dem Ziel eingesetzt, ein KI-Modell zu erstellen, welches Daten clustert, also Muster in den unstrukturierten Daten findet und nach diesem Muster entsprechend sortiert. Dabei könnte diese Form der KI im militärischen Kontext beispielsweise zur Erkennung von Anomalien eingesetzt werden oder zur Erkennung von Mustern in der Taktik des Gegners.

Vordergründig begünstigen das unbewachte Lernen, jedoch auch das verstärkende Lernen, Black-Box-Entscheidungen durch die KI und erschweren somit die Nachvollziehbarkeit dieser Entscheidungen. Die Stärke dieser Lernmethoden, wodurch die KI möglichst effiziente Strategien entwirft oder selbstständig unerkannte Muster offenlegt, ist zugleich im Kontext der Vorhersehbarkeit und damit auch der Kontrolle solcher Systeme problematisch beim Einsatz zu militärischen Zwecken.

III. Rechtliche Einordnung KI-gestützter autonomer Waffensysteme

Aus rechtlicher Perspektive sind zunächst KI-Systeme im Einzelnen zu betrachten, LAWS für sich genommen und die Kombination in Form von KI-gestützten autonomen Waffensystemen. Dazu lässt sich zum einen die KI-Verordnung heranzuziehen und zum anderen das humanitäre Völkerrecht.

1. Regulierung von KI-Systemen

Grundsätzlich werden KI-Systeme durch die europäische KI-Verordnung reguliert. Der Anwendungsbereich der Verordnung erstreckt sich jedoch nach Art. 2 Abs. 3 KI-VO nicht auf KI-Systeme, wenn und soweit sie ausschließlich für militärische Zwecke, Verteidigungszwecke oder Zwecke der nationalen Sicherheit in Verkehr gebracht, in Betrieb genommen oder, mit oder ohne Änderungen, verwendet werden, unabhängig von der Art der Einrichtung, die diese Tätigkeiten ausübt. Zumindest kann jedoch auf die Definition eines KI-Systems hier zurückgegriffen werden. Nach Art. 3 Nr. 1 KI-VO ist ein KI-System ein „System der künstlichen Intelligenz (KI-System) eine Software, die mit einer oder mehreren der in Anhang I aufgeführten Techniken und Konzepte entwickelt worden ist und im Hinblick auf eine Reihe von Zielen, die vom Menschen festgelegt werden, Ergebnisse wie Inhalte, Vorhersagen, Empfehlungen oder Entscheidungen hervorbringen kann, die das Umfeld beeinflussen, mit dem sie interagieren.“

Die Ausnahme der KI-VO basiert auf Art. 4 Abs. 2 EUV als auch auf den Besonderheiten der Verteidigungspolitik der Mitgliedstaaten und der in Titel V Kapitel 2 EUV abgedeckten gemeinsamen Verteidigungspolitik der Union. Die Verteidigungspolitik unterliegt wiederum dem Völkerrecht, das somit auch für die Regulierung von KI-Systeme im militärischen Kontext den Rechtsrahmen darstellt.

2. Völkerrecht

Das Völkerrecht basiert im Kern auf völkerrechtlichen Verträgen, dazu haben sich allgemeine Prinzipien herausgebildet. Im Zentrum steht für Waffensysteme und ihre Auswirkungen auf Zivilisten und Kombattanten insbesondere das Humanitäre Völkerrecht, dessen Kernprinzipien in den Genfer Konventionen und ihren Zusatzprotokollen festgelegt sind.

Grundsätzlich soll überflüssiges Leiden vermieden werden. Ausdruck dessen sind Verbotsverträge über bestimmte Waffengattungen wie Chemiewaffen, Streubomben oder Anti-Personenmienen. Obwohl die meisten Waffengattungen erst nach ihrem ersten Einsatz verboten werden, sind dauerhaft blendende Laserwaffen ein Beispiel für ein Verbot vor der technischen Einsatzfähigkeit auf dem Schlachtfeld. Grundgedanke des Humanitären Völkerrechts ist es, dass solche Waffen inhärent unethisch sind. Teilweise wird dahingehend vertreten, dass dies auf autonome Waffensysteme ebenfalls zutreffen müsste, da durch den Einsatz die Risiken der einsetzenden Seite auf null reduziert wird und diese Asymmetrie inhärent unethisch sei.8 Auf der anderen Seite ist eine immer weitere Distanzierung des Menschen vom Gefechtsfeld eine historisch fortlaufende Entwicklung. Sei es durch Pfeil und Bogen, durch Artillerie oder durch Langstreckenraketen.

LAWS als neue Technologie sollen jedoch nach Art. 36 des ersten Zusatzprotokolls der Genfer Konvention überprüft werden, ob diese gegen Vorschriften des humanitären Völkerrechts verstoßen. Grundsätzlich sind die Vorschriften des ersten Zusatzprotokolls der Genfer Konvention gewohnheitsrechtlich anerkannt, auch wenn einige militärisch gewichtige Staaten wie die Vereinigten Staaten von Amerika das erste Zusatzprotokoll nicht ratifiziert haben. Jedoch haben die USA eine grundsätzliche Überprüfung von neuen Waffensystemen zumindest nach ihren Standards festgelegt.9

Für den Einsatz KI-gestützter autonomer Waffensysteme sind insbesondere das Unterscheidungsprinzip, das Verhältnismäßigkeitsprinzip und das Vorsorgeprinzip von Relevanz.

a) Unterscheidungsprinzip

Das Unterscheidungsprinzip, welches in Art. 51 des ersten Zusatzprotokolls der Genfer Konvention niedergelegt ist, legt fest, dass Zivilisten keine legitimen Ziele sind und immer eine Unterscheidung zwischen feindlichen Soldaten und ziviler Bevölkerung erfolgen muss. Eine direkte Schädigung der Zivilbevölkerung soll dadurch vermieden werden.

Das autonome Waffensystem muss folglich in der Lage sein, eine Unterscheidung zwischen militärischen Zielen und Zivilisten bzw. ziviler Infrastruktur vorzunehmen.

Um dies zu gewährleisten, müsste eine dauerhafte Überwachung des Einsatzgebietes durch Kameras vorgenommen werden. Datenschutzrechtlich steht dem die DSGVO nicht entgegen, da Verarbeitungen im Rahmen der Landesverteidigung nicht in den sachlichen Anwendungsbereich der Verordnung fallen; nach Art. 2 Abs. 2 lit. b DSGVO umfasst der sachliche Anwendungsbereich nicht Tätigkeiten der Mitgliedstaaten, die in den Anwendungsbereich von Titel V Kapitel 2 EUV fallen.

Ein Problem zeigt sich im Kluger-Hans-Effekt. Scheinkorrelationen führen zu unrichtigen Ergebnissen, obwohl die Ergebnisse auf den ersten Blick als richtig erscheinen. KI-Modelle, die durch unüberwachtes Lernen trainiert wurden, sehen bestimmte Merkmale fälschlicherweise als wichtiger an als andere, die zur Klassifizierung jedoch nicht immer taugen.10 Beispielsweise kann es dazu kommen, dass bei der Klassifikation von amerikanischen Panzern, diese immer als solche erkannt werden, wenn sie sich in einer Wüstenumgebung befinden. Dies kann darauf zurückgeführt werden, wenn Bilder zum Training genutzt werden auf denen amerikanische Panzer sich hauptsächlich in Wüstenregionen im Einsatz befinden. Durch die Einsätze amerikanischer Truppen in den letzten Jahren ist es wahrscheinlich, dass die meisten Bilder amerikanische Panzer in Wüstenregionen zeigen und nicht in bewaldeten Regionen. In den meisten Fällen wird zwar das Ergebnis stimmen, jedoch klassifiziert die KI anhand des falschen Merkmals, was im Zweifelsfall zu fatalen Fehlern führen könnte.

Aufgrund der Fehleranfälligkeit, in Kombination mit fehlendem menschlichen Einfluss bei der Lernmethodik des unüberwachten Lernens, ist diese Form des KI-Trainings aus völkerrechtlicher Perspektive weniger geeignet, um für die Entwicklung von KI-gestützten autonomen Waffensystemen eingesetzt zu werden.

Für alle Lernmethoden des KI-Trainings sind die Qualität der Trainingsdaten von fundamentaler Bedeutung.11 Ein daraus resultierendes Problem könnten Halluzinationen sein. Wenn die Trainingsdaten unvollständig oder fehlerhaft sind, kann es passieren, dass falsche Ergebnisse herauskommen. Ein KI-Modell ist darauf ausgelegt für jede Anfrage eine Antwort zu geben. Im militärischen Kontext wäre eine falsche Entscheidung fatal, jedoch könnte es auch fatal sein, wenn die KI gar keine Entscheidung trifft. Im Falle eines autonomen Systems wäre kein Mensch an der Operation beteiligt und im Zweifel auch nicht in der Lage, manuell einzugreifen und eine Entscheidung anstelle der KI zu treffen.

Je nach Operationskontext kann dies problematisch sein, beispielsweise wenn das autonome Waffensystem zur Unterstützung der eigenen Truppen eingesetzt wurde, die sonst ohne die Rückendeckung des Systems dastehen würden und gefährdet wären.

b) Verhältnismäßigkeitsprinzip

Nach dem Verhältnismäßigkeitsprinzip, welches in Art 51 Abs. 5 lit. b und Art. 57 Abs. 2 lit. a lit. iii des ersten Zusatzprotokolls der Genfer Konvention niedergelegt ist, sollen unverhältnismäßige Kollateralschäden ausgeschlossen werden. Eine indirekte Schädigung der Zivilbevölkerung soll vermieden werden. Es soll im Einzelfall eine Abwägung zwischen militärischem Vorteil und den potenziellen Kollateralschäden vorgenommen werden.

Im Falle eines autonomen Waffensystems müsste dieses eine solche Abwägung selbstständig durchführen können. Teilweise wird angenommen, dass eine Entscheidung, die der eines Menschen zumindest gleich kommt, möglich wäre.12 Teilweise wird sogar eine bessere Entscheidung durch ein solches System angenommen, da es keinen Selbsterhaltungstrieb aufweist und somit eine bessere Abwägung vornehmen könnte als ein durchschnittlicher Mensch.13

Technisch betrachtet trifft ein KI-Modell seine Entscheidungen auf Basis von Wahrscheinlichkeiten. Das KI-System errechnet einen numerischen Wahrscheinlichkeitswert, indem es die Eingabedaten mit seiner erlernten Gewichtung multipliziert und summiert. Das Ergebnis stellt die Option dar, die die höchste Wahrscheinlichkeit hat, das erlernte Ziel zu erreichen. Das Ziel kann in diesem Kontext die Klassifizierung zwischen Zivilpersonen und Kombattanten sein.

Fraglich ist, ob dies mit der Voraussetzung einer Abwägung vereinbar ist. Eine Abwägung im menschlichen Gehirn bezieht nicht nur rationale Faktoren mit ein, sondern auch Emotionen. Aus dieser Perspektive wären KI-Systeme durch die reine Einbeziehung rationaler Faktoren sogar überlegen. Andererseits ist die Entscheidung abhängig von den Trainingsdaten und kann durch das jeweilige Training beeinflusst werden. Es könnte jedoch der Standpunkt vertreten werden, dass durch diesen Einfluss eine Entscheidung des KI-Systems so gesteuert werden könnte, dass sie einer idealen menschlichen Entscheidung gleichkommt. Dabei können ideale Verhaltensweisen und die Normen des Völkerrechts einfließen. Dem entgegen steht weiterhin die Black-Box-Problematik einiger KI-Systeme, sodass das Ergebnis der Abwägung im Nachhinein nicht nachvollziehbar ist. Dadurch könnte eine Verantwortungslücke entstehen.

c) Vorsorgeprinzip

Das Vorsorgeprinzip, welches in Art. 57 Abs. 1 des ersten Zusatzprotokolls der Genfer Konvention niedergelegt ist, verpflichtet zur Ergreifung kontinuierlicher Maßnahmen, um die Zivilbevölkerung und die zivile Infrastruktur zu verschonen. Die Maßnahmen betreffen die gesamte Kette von der Planung des Einsatzes über die Programmierung des Systems bis hin zur Ausführung der militärischen Operation.

Das Vorsorgeprinzip könnte bereits am Anfangspunkt des autonomen Waffensystems greifen. Bei einem KI-gestützten System wäre dies bereits beim Training des KI-Modells. Insbesondere beim Einsatz des verstärkenden Lernens und des unüberwachten Lernens besteht die mögliche Black-Box-Problematik eines KI-Systems. Dabei kommen zumindest ethische Fragen auf, da dieses System dem KI-System beibringt, was gut oder böse ist, was Freund oder Feind ist, und dabei Einfluss auf letale Entscheidungen im militärischen Kontext genommen wird. Wie die KI jedoch diese Strategie am Ende im Detail entwickelt und warum, bleibt oft nicht eindeutig vorhersehbar oder nachvollziehbar.14 Dem könnten Explainable-AI-Modelle (XAI) entgegenwirken, die dazu dienen KI-Modelle, ihre Entscheidungsfindung und mögliche Fehler zu erkennen und zu beschreiben. Durch den Einsatz solcher Modelle kann Vertrauen in KI-Systeme und ihre Entscheidungen geschaffen werden, was insbesondere in sensiblen Bereichen wie militärischen Anwendungen essenziell ist.

In diesem Kontext wird insbesondere das Konzept der „Meaningful Human Control“ diskutiert. Dabei soll sichergestellt werden, dass in den Entscheidungsprozess des KI-Systems das menschliche Urteilsvermögen integriert wird, sobald es um Entscheidungen geht, die die körperliche Integrität anderer Personen verletzen könnten. Außerdem soll der menschliche Überwacher in der Lage sein Fehlfunktionen des Systems zu erkennen und darauf zu reagieren. Zudem soll immer ein Mensch für die Auswirkungen der Entscheidung verantwortlich gemacht werden können.15

Teilweise wird vertreten, dass es zur Gewährleistung von kontinuierlichen Maßnahmen ausreicht, wenn ein Mensch innerhalb der Entscheidungskette die Möglichkeit des Eingreifens hat.16 Andere halten dies nicht für ausreichend, da bezweifelt wird, dass der Mensch innerhalb einer laufenden militärischen Operation überhaupt in der Lage wäre zu reagieren, wenn ein autonomes Waffensystem in der Lage ist, in enormer Geschwindigkeit zu entscheiden, vor allem deutlich schneller als der kontrollierende Mensch.17

Daher wird teilweise vertreten, dass eine solche Vorsorge nur dadurch gewährleistet werden kann, dass LAWS nur in Fällen eingesetzt werden, in denen eine direkte Konfrontation mit Zivilpersonen ausgeschlossen ist. Jedoch wird hier gleichzeitig anerkannt, dass dies wenig realistisch ist angesichts der komplexen und unübersichtlichen Einsätze im Rahmen moderner Kriegsführung.18 Andererseits könnte sich auf den Standpunkt gestellt werden, dass LAWS so geschaffen werden müssten, dass ein menschliches Eingreifen möglich bleibt. Dies würde jedoch die Vorteile der schnellen Entscheidung eines solchen Systems konterkarieren, da für eine solche Eingriffsmöglichkeit eines Menschen eine Verzögerung des autonomen Systems auf der anderen Seite vorauszusetzen wäre.

Im Ergebnis lässt sich festhalten, dass die rechtliche Einordnung KI-gestützter LAWS primär durch das Humanitäre Völkerrecht bestimmt wird, da die europäische KI-Verordnung militärische Systeme explizit ausklammert. Die zentrale Herausforderung liegt in der Anwendung der drei Kardinalprinzipien des humanitären Völkerrechts auf Systeme, deren Entscheidungsfindung durch KI geprägt ist.

Es zeigt sich, dass die existierenden Regelungen zwar grundsätzlich anwendbar sind, ihre Einhaltung durch LAWS jedoch durch inhärente technische Aspekte gefährdet wird.

IV. Die Verantwortlichkeit beim Einsatz von LAWS

Beim Einsatz von LAWS besteht die Gefahr einer Verantwortungslücke für die Entscheidungen, die ein KI-gestütztes autonomes Waffensystem trifft und dabei die Regeln des humanitären Völkerrechts verletzt. Grundsätzlich stellt sich die Frage nach der Verantwortlichkeit nicht nur bei LAWS, sondern auch bei KI-Systemen im Allgemeinen. Während bei zivilen KI-Systemen hinsichtlich der Verantwortlichkeit seit der KI-Verordnung zwischen Betreiber und Anbieter differenziert wird, ist die Verordnung für militärische Systeme nicht anwendbar (siehe oben).

International ist eine entsprechende Verantwortung bei Fehlern im Kontext des Einsatzes von autonomen Waffensystemen nicht festgelegt. Eine Maschine als solche kann nicht zur Verantwortung gezogen werden. Im militärischen Bereich könnte neben dem Entwickler und dem Nutzer des Systems auch auf den jeweiligen Kommandanten abgestellt werden, der dem konkreten Befehl zum Einsatz gibt oder das System in einem bestimmten Gebiet einsetzen lässt. Fraglich ist jedoch, inwieweit eine einzelne Person zur Verantwortung gezogen werden könnte. Der Hersteller des Systems könnte in Betracht kommen, soweit sich ein Fehler bei der Programmierung feststellen lässt. Jedoch ist nicht eindeutig geklärt, was konkret einen Fehler beim KI-Training darstellt. Insbesondere vor dem Hintergrund der Komplexität und der Black-Box-Problematik von KI-Systemen ist ein Fehler beim Training schwierig von einer unvorhergesehenen Entscheidungsfindung des trainierten KI-Modells zu differenzieren. Dies erschwert auch aus strafrechtlicher Perspektive die Möglichkeit der Feststellung von Vorsatz oder Fahrlässigkeit und kann somit zu einer strafrechtlichen Verantwortungslücke führen.

Andererseits könnte der Staat, der das System einsetzt, zur Verantwortung gezogen werden. Zumindest hat der einsetzende Staat nach den Regeln des humanitären Völkerrechts dafür Sorge zu tragen, dieses einzuhalten und das autonome Waffensystem folglich völkerrechtskonform einzusetzen.

Abschließend gibt es aktuell keine eindeutigen Regelungen zur Verantwortung, zumal der Nachweis der Verantwortung im Rahmen des Strafrechts durch die Black-Box-Problematik von KI-Systemen deutlich erschwert wird.

V. Die Frage nach notwendigen Anpassungen der rechtlichen Lage

Die aktuelle Bundesregierung aus CDU, CSU und SPD will sich laut ihrem Koalitionsvertrag für eine Ächtung solcher Systeme einsetzten.19 Eine Resolution der UN-Generalversammlung vom Dezember 2023, erkennt die Gefahr von LAWS zwar an, wurde jedoch nur von 152 von 193 Mitgliedstaaten unterstützt und enthielt keine konkreten Regelungen. Zudem haben einige gewichtige Staaten wie China, Russland oder Indien die Resolution nicht unterstützt.20 Teilweise wird gefordert, dass immer ein Mensch eine gewisse Steuerung über das System behalten muss.21 In Anbetracht der hier zugrunde gelegten Definition des ICRC zu autonomen Waffensystemen wäre bei einer menschlichen Kontrolle ein solches System gerade kein autonomes Waffensystem mehr. Folglich stellt eine solche Forderung keine Regulierung, sondern de facto ein Verbot eines solchen Systems dar.

António Guterres hatte in seiner Funktion als Generalsekretär der Vereinten Nationen unlängst zu einem Verbot von LAWS aufgerufen. Seiner Meinung nach könne das Schicksal der Humanität nicht von einer Black-Box abhängen. Laut Guterres muss schnell eine bindende Vereinbarung getroffen werden.22

Möglich wäre entsprechend die Regulierung über einen völkerrechtlichen Vertrag. Fraglich ist jedoch die Durchsetzbarkeit eines gänzlichen Verbots solcher Systeme, insbesondere da wichtige Staaten nicht einmal eine Resolution zu den Gefahren von autonomen Waffensystem unterstützt haben. Durch ein Abkommen ohne diese Staaten könnte ein solches Verbot zu einer Asymmetrie in der Verteidigungsfähigkeit führen. Andererseits ist eine solche Asymmetrie nicht einzigartig. Im Rahmen des Atomwaffensperrvertrages aus dem Jahr 1968 verzichteten die Länder, die zu dem Zeitpunkt nicht im Besitz von Atomwaffen waren, auf den Erwerb solcher. Kritisch ist jedoch zu sehen, dass dieser Vertrag die Verbreitung von Atomwaffen nicht verhindert hat, siehe beispielsweise Indien, Pakistan, Israel oder Nordkorea.

Folglich wäre bei einem entsprechenden völkerrechtlichen Vertrag, sofern alle entscheidenden Länder zustimmen, insbesondere die Überprüfbarkeit bzw. die Garantien das Entscheidende des Vertrages.

In gewissen Grenzen könnte sich auch auf den Standpunkt gestellt werden, dass autonome Waffensysteme einen Fortschritt für die Menschheit an sich darstellen. Grundsätzlich werden dadurch zumindest auf dem Schlachtfeld die Anzahl der benötigten Soldaten reduziert. Zivile Infrastruktur und Zivilisten sollen völkerrechtlich auch unabhängig von autonomen Waffen nicht zu Zielen konventioneller Waffen werden. Folglich wäre ein regulierender Ansatz mit entsprechenden Leitplanken zu diskutieren.

Eine weitreichende Beschränkung wäre ein Verbot von KI-Lernmethoden, die ein Black-Box-Problem aufweisen. Jedoch wäre ein solches Verbot ein umfassendes Verbot für viele mögliche Anwendungen von KI-Systemen im Rahmen von LAWS, die nur mit diesen speziellen Lernmethoden realisierbar sind. Eine weniger invasive Möglichkeit wäre daher der verpflichtende Einsatz von Explainable AI. Indem XAI die notwendige Transparenz und Nachvollziehbarkeit in Black-Box-Systeme schafft könnte dadurch ein Ausgleich geschaffen werden. XAI-Modelle ermöglichen es, die Entscheidungsfindung der KI insbesondere bei der militärischen Zielauswahl und im Angriffsprozess ex post zu beschreiben und zu analysieren. Dies ist entscheidend, um die Einhaltung der Prinzipien des Humanitären Völkerrechts wie das Unterscheidungs- und Verhältnismäßigkeitsprinzip zu überprüfen. Durch die erhöhte Transparenz kann das militärische Personal Fehlfunktionen und Verzerrungen in den Trainingsdaten besser erkennen, was als notwendige völkerrechtliche Vorsorgemaßnahme dient. Letztlich schafft XAI eine Grundlage, um eine mögliche Verantwortungslücke zu schließen, da die Zurechnung von Fehlentscheidungen zu einem menschlichen Akteur erleichtert wird. Zusätzlich könnte eine Anpassung des Völkerstrafrechts eine entsprechende Verantwortungslücke durch Regelung der Zurechnung beim Einsatz von KI-gestützten LAWS schließen.

Angesetzt werden könnte auch beim KI-Modell selbst. Eine Regelung könnte sein, dass immer ein Mensch die Regeln zum Einsatz festlegen muss und somit die Parameter zur militärischen Zielauswahl bestimmt. KI-Modelle sollen in dem Fall gerade nicht in der Lage sein, sich selbstständig von den Regeln zu lösen. Das KI-Modell würde somit nur in gewissen Grenzen lernen und sich weiterentwickeln. Dies könnte jedoch ohnehin notwendig sein, damit KI-Systeme nicht generell gegen die völkerrechtlichen Regeln handeln.

Eine weitere Möglichkeit wäre, verpflichtend ein Notfall-Aus für die Systeme vorzusehen. Somit könnte im Notfall immer ein Mensch zumindest das System abschalten. Jedoch ist eine solche Möglichkeit gar nicht in jedem Einsatzumfeld aufgrund der Geschwindigkeit oder der schlechten Verbindung zum System selbst, wie beispielsweise unter Wasser, möglich.23

Zudem könnte eine Begrenzung des Einsatzbereichs einen Teil der Lösung darstellen. Beispielsweise durch ein Einsatzverbot in unübersichtlichen urbanen Gebieten oder die Beschränkung auf den Einsatz zur Abwehr von Angriffen.

VI. Fazit

Auf KI-gestützte LAWS ist die KI-VO aufgrund des militärischen Kontextes nicht anwendbar, jedoch kann sich auf die Regelungen des Humanitären Völkerrechts gestützt werden. Durch den Einsatz von KI im Rahmen von LAWS entstehen insbesondere Probleme durch die Black-Box-Problematik, die im Wesentlichen bei Modellen entsteht, die mit unüberwachten oder verstärkenden Lernmethoden trainiert wurden. Dadurch werden Entscheidungen des Systems nicht erklärbar, was die Meaningful Human Control über letale Handlungen des Systems gefährdet. Dies führt dabei insbesondere auch durch mangelnde Transparenz zu mangelnder Nachweisbarkeit und daher zu einer Verantwortungslücke insbesondere mit Blick auf das Völkerstrafrecht.

Ein generelles Verbot kann als unrealistisch angesehen werden, sodass eine Regulierung von LAWS wahrscheinlicher ist. Dabei kann der Fokus auf dem verpflichtenden Einsatz von XAI-Modellen zur Überwindung des Transparenz- und Nachweisproblems vorgesehen werden, wodurch auch die Verantwortungslücke zumindest verkleinert werden kann. Eine klarere Zurechnung beim Einsatz von KI-gestützten LAWS im Rahmen des Völkerstrafrechts wäre jedoch wünschenswert. Zudem kann über die Begrenzung des Einsatzes diskutiert werden. Abschließend lässt sich festhalten, dass rechtliche Anpassungen in Form von regulierenden Schranken im Rahmen des Völkerrechts insbesondere vor dem Hintergrund der rasanten Weiterentwicklung von KI-Modellen, die sich auf die militärische Nutzbarkeit durchschlägt, überfällig sind.