Dr. Christian Pisani, LL.M. (London), RA

KI-Compliance: Zur Wechselwirkung von Sorgfaltsmaßstab und Vertrauensschutz beim Einsatz von ChatGPT – Vertrauen schützen, Sorgfalt wahren

Unternehmen nutzen immer häufiger Künstliche Intelligenz (KI). Die Nutzung von ChatGPT stellt sich dabei als Innovationstreiber dar, ist aber gleichzeitig mit Risiken und Limitationen verbunden. Die KI-VO (VO (EU) 2024/1689) gibt insoweit den Regulierungsrahmen vor, ohne selbst ein (abschließendes) Haftungsregime zu schaffen. Vor diesem Hintergrund sollen im folgenden Beitrag Kriterien für die Bestimmung des anwendbaren Sorgfaltsmaßstabes entwickelt werden. Es wird sich zeigen, dass dieser nicht allgemein gültig ist, sondern abhängig vom schutzwürdigen Vertrauen der betroffenen Verkehrskreise. Vertrauen bildet so Grund und Grenze des Sorgfaltsmaßstabs. Diese Erkenntnis kann zur Haftungsminimierung bei der Ausgestaltung interner Prozesse und der Vertragsgestaltung genutzt werden.

I. Einleitung

Sam Altman von Open AI bewirbt ChatGPT-5, das Anfang August 2025 der Öffentlichkeit vorgestellt wurde,1 als Experten mit Doktortitel auf jedem Gebiet.2 Insbesondere soll laut Open AI diese jüngste Version von ChatGPT weniger zum Halluzinieren3 neigen. Im März 2025 waren hingegen noch Bedenken an der Sicherheit von ChatGPT bekannt geworden.4 Um das volle Potential von ChatGPT auszuschöpfen, bedarf es in dieser Spannungslage also das Wissen und das Verständnis der Nutzer um die technischen Möglichkeiten und die sich daraus ergebenden Innovationschancen, aber auch um die mit der Nutzung verbundenen Risiken und Limitationen. Fehlt es aber an entsprechender KI-Kompetenz im Unternehmen, kann dies mit der Bundesnetzagentur als designierter Marktaufsichtsbehörde5 eine haftungsbegründende Sorgfaltspflichtverletzung darstellen.6

KI-Systeme auf der Basis sog. Large Language Modells (LLMs), wie etwa ChatGPT, Gemini, Llama oder Claude,7 mit ihrem allgemeinen Verwendungszweck werden zunehmend in Geschäftsprozesse integriert. So nutzen zwischenzeitlich 40,9 % deutscher Unternehmen KI.8 Dabei müssen sie seit dem 2.2.2025 (Art. 113 lit. b) KI-VO) ihren Mitarbeitern gem. Art. 4 der Verordnung über künstliche Intelligenz (KI-VO)9 entsprechende KI-Kompetenz vermitteln. Gleichwohl wurden bislang erst 20 % der Mitarbeiter geschult,10 während der großen Mehrheit weiterhin keine KI-Fortbildungen angeboten wurden. KI-Tools bleiben so eine Black Box und deren Output ist für ihre Nutzer letztlich nicht nachvollziehbar. Dies stellt sich als wesentliche Herausforderung für die KI-Compliance dar.

Vor diesem Hintergrund sollen im Folgenden Überlegungen angestellt werden, welchen Sorgfaltsmaßstab Unternehmen beim Einsatz von ChatGPT zu beachten haben und Gestaltungsoptionen zur Haftungsminimierung aufgezeigt werden.

II. Rechtsrahmen

Die KI-VO gilt als Verordnung gem. Art. 288 Abs. 2 AEUV unmittelbar, ohne dass es eines Umsetzungsaktes der einzelnen Mitgliedstaaten bedürfte. Regelungstechnisch fügt sich die Verordnung in den sog. neuen Rechtsrahmen (new legislative framework) ein11 und stellt einen weiteren Baustein im Gefüge des EU-Produktsicherheitsrechts dar.12 Die KI-VO verfolgt einen risikobasierten Ansatz,13 indem sie sektorenunabhängig einen möglichst umfassenden Regulierungsrahmen für KI-Systeme statuiert.14 So begründet die KI-VO für Anbieter, Produkthersteller, Einführer und Händler im Wesentlichen produktbezogene Pflichten,15 die durch Pflichten für deren Betreiber ergänzt werden. Der Betreiber-Begriff ist dabei in Art. 3 Nr. 4 KI-VO denkbar weit gefasst und erfasst jeden, der in eigener Verantwortung ein KI-System zu beruflichen Zwecken verwendet, wobei den einzelnen Arbeitnehmer keine entsprechenden Pflichten treffen.16

Die KI-VO selbst sieht kein eigenes (abschließendes) Haftungsregime vor. Sie wird vielmehr durch die am 8.12.2024 in Kraft getretene Produkthaftungsrichtlinie flankiert,17 soweit es sich um Schäden durch fehlerhafte Produkte handelt. Die Produkthaftungsrichtlinie erfasst gem. ihrem Art. 4 Nr. 1 (endlich) ausdrücklich auch Software, einschließlich KI-Systeme.18 Eine angekündigte KI-Haftungsrichtlinie19 wird hingegen derzeit nicht weiterverfolgt.20 Dies ist bedauerlich, da beide Richtlinien sich – auch im Selbstverständnis der Kommission – als Gesamtpaket dargestellt haben.21

III. Allgemeine Kriterien für die Bestimmung des Sorgfaltsmaßstabes bei der Nutzung von ChatGPT

Mangels eines unionsrechtlich abschließenden Regimes für die Haftung des KI-Betreibers ist auf der Ebene des deutschen Rechts entscheidend, ob diesen eine Sorgfaltspflichtverletzung zur Last fällt. Entsprechende Pflichten können sich aus Vertrag oder Gesetz ergeben.22 Lässt man Fälle des Vorsatzes sowie einer ausnahmsweise bestehenden verschuldensunabhängigen Garantiehaftung, etwa im Falle der Halterhaftung gem. § 7 StVO, außer Betracht, so setzt dies eine schuldhafte, also zumindest fahrlässige Verletzung voraus, die dem KI-Betreiber zugerechnet werden kann. Damit gewinnt die Bestimmung des für den KI-Betrieb spezifischen Sorgfaltsmaßstabes an überragender Bedeutung.

1. Allgemeine Prinzipien

Im Interesse des Vertrauensschutzes des allgemeinen Rechtsverkehrs geht § 276 BGB bei der Bestimmung des Sorgfaltsmaßstabes von einem objektiv-abstrakten Maßstab aus.23 Dieser ist gruppenbezogen entsprechend der jeweils betroffenen Verkehrskreise unter Berücksichtigung deren speziellen Anschauungen und Bedürfnissen zu bestimmen,24 wobei die mit dem jeweiligen Verhalten typischerweise verbundenen Gefahren zu berücksichtigen sind.25

Rechtsnormen, (technische) Regelwerke, wie etwa DIN-Normen,26 können insoweit zur weiteren Ausfüllung herangezogen werden, ohne jedoch einen absoluten Sorgfaltsmaßstab zu begründen.27 Wenn aufgrund konkreter Umstände im Einzelfall besondere Vorsichtsmaßnahmen angezeigt oder die anzuwendenden (technischen) Regeln erkennbar sicherheitstechnisch unzureichend sind, kann daher mit der Rechtsprechung28 der verkehrserforderlichen Sorgfalt trotz Befolgung der anwendbaren Regelwerke nicht genügt sein. Andererseits begründet die Nicht-Beachtung nicht schon ohne Weiteres eine Sorgfaltsverletzung, wenn gleichwertige oder bessere sicherheitstechnische Lösungen gewählt wurden. Gleichzeitig haben Regelwerke Indizwirkung.29 Gebrauchsanweisungen des Herstellers als solche sind hingegen nicht geeignet, den Sorgfaltsmaßstab zu bestimmen, es sei denn sie folgen den o. g. einschlägigen sicherheitsrelevanten technischen Regeln. In einem solchen Fall gelten dieselben gerade angesprochenen Grundsätze.30

Zudem ist in der ständigen höchstrichterlichen Rechtsprechung anerkannt, dass derjenige, der eine Gefahrenquelle – gleich welcher Art – schafft, grundsätzlich verpflichtet ist, die notwendigen und zumutbaren (organisatorischen) Vorkehrungen zu treffen, eine Schädigung anderer möglichst zu verhindern, und in geeigneter, zumutbarer, ausreichend deutlicher und verständlicher Weise über die entsprechenden Gefahren zu informieren.31 Dasselbe gilt bei Verwendung weitgehend unerprobter Techniken.32

So hat etwa der BGH für die Nutzung von Medizinprodukten33 zur Bestimmung des von einem Arzt insoweit anzuwendenden fachlichen Standards festgestellt, dass der Arzt zwar nicht mehr alle technischen Einzelheiten der ihm verfügbaren Geräte erfassen vermag. Dies entbinde ihn jedoch nicht von der Pflicht, sich mit der Funktionsweise insbesondere von Geräten, deren Einsatz für den Patienten vitale Bedeutung hat, wenigstens insoweit vertraut zu machen, wie dies einem naturwissenschaftlich und technisch aufgeschlossenen Menschen möglich und zumutbar ist. Ganz unabhängig von der Risikoklassifizierung des jeweiligen Medizinproduktes nimmt der BGH34 insoweit im Fall erkennbar ernster möglicher Gesundheitsschäden durch deren Einsatz (gesteigerte) Organisations- und Kontrollpflichten an.

Mangels abschließender gesetzlicher Konkretisierung des anwendbaren Sorgfaltsmaßstabes sind es somit letztlich Gerichte, die diesen im Interesse der Einzelfallgerechtigkeit (flexibel) bestimmen. Regelmäßig ist dies für Betreiber aufgrund der damit verbundenen fehlenden Vorhersehbarkeit und der mit den infolge einer ex-post-Beurteilung verbundenen Rückschaufehlern naturgemäß unbefriedigend.35

2. Grundsätzliche Anforderungen an den Sorgfaltsmaßstab bei der Nutzung von ChatGPT

Dem Grunde nach stellt sich ChatGPT als technisches Hilfsmittel (zur Vertragserfüllung) dar.36 Mangels eigener Rechtspersönlichkeit37 verbleibt es bei der Haftung des jeweiligen Betreibers.38

Welche Sorgfaltsanforderungen der Betreiber von ChatGPT im Einzelnen zu erfüllen hat, hängt vom schutzwürdigen Vertrauen der betroffenen Verkehrskreise ab.

a) Vertrauensschutz in regelkonforme Nutzung von ChatGPT

Bei der Bestimmung des Sorgfaltsmaßstabes ist Vertrauen des Rechtsverkehrs ein entscheidendes Kriterium. Auch der Unionsgesetzgeber sieht seinerseits die Notwendigkeit, Vertrauen in die KI aufzubauen und stellt dieses ins Zentrum des Regulierungsrahmens für eine vertrauenswürdige KI (trustworthy ai).39 Das so in der KI-VO statuierte (möglichst) umfassende Pflichtenregime für sämtliche Akteure, einschließlich Betreiber,40 dient diesem Zweck.

So haben Unternehmen, die ChatGPT nutzen, gem. Art. 4 KI-VO ihrem Personal und den von ihnen beauftragten Personen ausreichend KI-Kompetenz zu vermitteln41 und Maßnahmen zu ergreifen, gem. Art. 5 KI-VO verbotene Praktiken im KI-Bereich zu verhindern. Sonstige (Vertrags-)Pflichten, etwa aufgrund Datenschutz-, Nichtdiskriminierungs-, Verbraucherschutz-, Wettbewerbsrechts oder Urheberrechts,42 bleiben im Übrigen unberührt. Diese so statuierten (Organisations-)Pflichten stellen sich als notwendige und zumutbare Vorkehrungen zur Schadensvermeidung dar, zu deren Erfüllung derjenige, der eine Gefahrenlage schafft mit der ständigen höchstrichterlichen Rechtsprechung (s. oben III. 1.) verpflichtet ist. So darf der Rechtsverkehr in schutzwürdiger Weise darauf vertrauen, dass Organisationen, die ChatGPT nutzen, über die erforderlichen Fähigkeiten und Kenntnisse, insbesondere zur Minimierung der jeweiligen KI-spezifischen Risiken, verfügen.43

b) KI-spezifische Risiken als Herausforderung für den Vertrauensschutz

Mit dem Einsatz von ChatGPT ist ganz allgemein ein besonderes Autonomie- und Opazitätsrisiko verbunden, das vor dem Hintergrund des Vertrauensschutzes interessengerecht den einzelnen Beteiligten zuzuordnen ist.44

aa) Autonomierisiko infolge selbständiger Fehlentscheidungen durch ChatGPT

Unter Autonomierisiko45 ist die Gefährdungslage infolge autonomer Entscheidungen von KI-Systemen zu verstehen, die zu schadensbegründenden selbständigen Fehleinschätzungen führen können, und die dabei für sämtliche Akteure letztlich zufällig sind.

ChatGPT ist als LLM allein ein Sprachmodell zur Textgenerierung auf der Grundlage eines computerlinguistischen Wahrscheinlichkeitsmodells, das statistische Wort- und Satzfolge-Beziehungen aus einer Vielzahl von Textdokumenten durch einen rechenintensiven Trainingsprozess erlernt hat.46 Damit verbunden ist das Risiko, dass die KI halluziniert, also Inhalte generiert, die zwar realistisch erscheinen, aber von den vorgegebenen Quelleninputs abweichen. Hierbei ist zwischen fehlender Übereinstimmung (faithfulness) oder mangelnder faktischer Richtigkeit (factualness) zu unterscheiden.47 ChatGPT kann somit (bis auf Weiteres) gerade nicht die erzeugten Texte auf ihre Richtigkeit überprüfen. Hierauf weist im Übrigen ChatGPT selbst in den anwendbaren Nutzungsbedingungen hin,48 schränkt so die Nutzung von ChatGPT ein und begründet im Ergebnis Mitwirkungsobliegenheiten von Nutzern. Ob die Allgemeinen Geschäftsbedingungen (AGB) von ChatGPT insgesamt überhaupt wirksam einbezogen werden und die genannte Klausel einer AGB-rechtlichen Prüfung standhält, bliebe dabei noch einer eingehenden Prüfung vorbehalten.49 

bb) Opazitätsrisiko infolge mangelnder Nachvollziehbarkeit

Das Opazitätsrisiko ergibt sich aus der mangelnden Nachvollziehbarkeit von Entscheidungswegen von KI-Systemen.50

Dass Entscheidungen auf nicht-nachvollziehbarer Basis getroffen werden, ist infolge Arbeitsteiligkeit nicht ungewöhnlich. Das der KI inhärente Opazitätsrisiko ist also letztlich nicht neu. Die Gefährdungslage ähnelt insoweit unternehmerischen Entscheidungen, bei denen der Vorstand bzw. Geschäftsführer auf einer Informationsgrundlage entscheiden muss, die er aufgrund seiner eigenen Fachlichkeit nicht notwendigerweise in letzter Konsequenz nachvollziehen kann.

Dabei konkretisiert § 93 AktG für das Aktienrecht den Sorgfaltsmaßstab des § 276 Abs. 2 BGB, § 347 Abs. 1 HGB für das einzelne Vorstandsmitglied.51 Dieses ist infolge der regelmäßig erforderlichen Arbeitsteiligkeit primär Delegationsorgan und trifft Entscheidungen regelmäßig auf der Grundlage von Tatsachen und (rechtlichen) Einschätzungen, die – von Dritten vorbereitet – von den jeweiligen Entscheidungsträgern selbst nicht abschließend ermittelt werden können.52 Gleichzeitig lässt die Delegation die (Letzt-)Verantwortung der Geschäftsleitung regelmäßig unberührt und ändert allein inhaltlich deren Pflichten. Entscheidend wird damit insbesondere, inwieweit die Geschäftsleitung Informationen vertrauen kann, die sie selbst nicht ermittelt hat,53 und welcher Sorgfaltsmaßstab an eine insoweit erforderliche Plausibilitätsprüfung zu stellen ist.54

Für Rechtsauskünfte gilt mit der höchstrichterlichen Rechtsprechung,55 dass trotz mangelnder eigener (Rechts-)Kenntnisse ein haftungsbegründendes Verschulden des Organmitglieds zu bejahen ist, wenn dieses einem schuldhaft verursachten Rechtsirrtum unterlegen ist. Es sind insoweit strenge Maßstäbe anzulegen. So hat ein Organmitglied, die Rechtslage sorgfältig zu prüfen, soweit erforderlich Rechtsrat einzuholen und die höchstrichterliche Rechtsprechung sorgfältig zu beachten.56 Hierbei trifft grundsätzlich den Schuldner das Risiko, die Rechtslage zu verkennen.57 Entschuldigt ist ein Rechtsirrtum nur dann, wenn der Irrende bei Anwendung der im Verkehr erforderlichen Sorgfalt mit einer anderen Beurteilung durch die Gerichte nicht rechnen musste.58

Die Plausibilitätsprüfung soll dabei nicht in einer rechtlichen Überprüfung der erhaltenen Rechtsauskunft bestehen.59 Sie beinhaltet vielmehr eine Überprüfung, ob dem Berater nach dem Inhalt der Auskunft alle erforderlichen Informationen zur Verfügung standen, er die Informationen verarbeitet hat und alle sich in der Sache für einen Rechtsunkundigen aufdrängenden Fragen widerspruchsfrei beantwortet hat oder sich aufgrund der Auskunft weitere Fragen aufdrängten.60

Für Rechtsfragen hat die höchstrichterliche Rechtsprechung so hohe Maßstäbe an die Plausibilitätsprüfung aufgestellt, um eine Enthaftung durch das Einholen von Gefälligkeitsgutachten zu verhindern61 und betont damit die (Letzt-)Verantwortung des Entscheidungsträgers.

3. Allgemeine Konsequenzen für die Bestimmung des Sorgfaltsmaßstabes

Die KI-VO dient mit ihrem risikobasierten Ansatz der Schaffung eines regulatorischen Rahmens,62 um die Chancen63 und Risiken64 von KI zu nutzen, und begründet insoweit ein abgestuftes Pflichtenregime zur Schaffung vertrauenswürdiger KI (trustworthy ai) und deren Nutzung. Dabei lässt der KI-Einsatz sonstige Pflichten des Betreibers jedenfalls unberührt. Gleichzeitig hat der Unionsgesetzgeber im (vorliegenden) Entwurf einer KI-Haftungsrichtlinie bewusst auf die Schaffung einer Gefährdungshaftung des Betreibers65 verzichtet. Diese gesetzgeberischen Entscheidungen auf Unionsebene dürften bei der weiteren Konkretisierung des Sorgfaltsmaßstabes durch deutsche Gerichte zu berücksichtigen bleiben. Überzogene Anforderungen sollten daher vermieden werden, um so nicht faktisch eine Gefährdungshaftung des Betreibers zu begründen.

Sorgfaltspflichten verbleiben jedenfalls bei den einzelnen Akteuren in der Wertschöpfungskette entsprechend deren jeweiligen Sphären und der damit verbundenen (Organisations-)Verantwortung.66 Primärer Haftungsadressat sollte dabei der Hersteller sein, nachdem das der KI immanente Opazitäts- bzw. Autonomierisiko letztlich seiner Sphäre zuzuordnen ist.67

Gleichzeitig treffen den Betreiber von ChatGPT Schulungspflichten gem. Art. 4 KI-VO. Zudem hat er jedenfalls den Einsatz von ChatGPT für die in Art. 5 KI-VO genannten verbotenen Praktiken auszuschließen sowie seine sonstigen (Vertrags-)Pflichten zu beachten. So darf der Rechtsverkehr darauf vertrauen, dass Betreiber die notwendigen und zumutbaren Vorkehrungen getroffen haben, um eine Schädigung infolge der Nutzung von ChatGPT möglichst zu verhindern. Hierbei ist – außerhalb der sonstigen (Vertrags-)Pflichten – kein absoluter Maßstab anzusetzen, sondern auf die Risikolage im Einzelfall abzustellen (s. oben III. 1.), wobei der Rechtsverkehr mit der ständigen Rechtsprechung68 zu Verkehrssicherungspflichten aufgrund der Eröffnung einer Gefahrenquelle einen umfassenden Schutz vor jeglicher Schädigung als utopisch nicht erwarten darf. Auch dürfte sich die Nutzung von ChatGPT aufgrund der vergleichsweise hohen Fehleranfälligkeit menschlichen Handelns letztlich als weniger riskant erweisen.69 Allerdings stellt die Rechtsprechung (s. oben III. 1.), unabhängig von der Risikoklassifikation des eingesetzten Tools auf die jeweilige tatsächliche Gefährdungslage im Einzelfall ab. Dies bleibt bei der Nutzung von ChatGPT zu beachten.

Insoweit setzt die Kommission70 voraus, dass Betreiber von ChatGPT regelmäßig um das Halluzinationsrisiko wissen. Dies stellt ein grundsätzliches Gefahrenpotential dar, das beim Einsatz von ChatGPT jedenfalls zu berücksichtigen sein dürfte, sollten hierdurch vitale Drittinteressen potentiell gefährdet sein. Dabei dürften gleichzeitig die Grundsätze der zum Umfang von Plausibilitätsprüfungen im Aktienrecht ergangenen Rechtsprechung fruchtbar gemacht werden können.71 Der Betreiber wäre damit nicht verpflichtet, den KI-generierten Inhalt selbst abschließend zu überprüfen, vielmehr würde sich seine Prüfung darauf beschränken können, ob ChatGPT sämtliche für die Erstellung des Inhalts erforderlichen Informationen zur Verfügung standen; Eingabefehler wären aber schon jetzt regelmäßig sorgfaltswidrig. Wann ein relevanter Eingabefehler allerdings überhaupt vorliegt, würde wiederum von einer entsprechenden Bedienungsanleitung, etwa zum Prompting, abhängen, die für den (End-)Nutzer verständlich die maßgeblichen Punkte erklärt und ggf. auf Limitationen der Anwendungsfelder. Dabei bleibt im Lichte des Regelungszwecks der KI-VO, ein möglichst hohes Schutzniveau zu schaffen, abzuwarten, welche Anforderungen der Hersteller hier überhaupt an die Nutzung durch Betreiber stellen und damit Verantwortung haftungsbegrenzend verlagern kann,72 nachdem das Halluzinationsrisiko letztlich der Herstellersphäre entstammt.73

Im Übrigen sieht die Rechtsprechung für den Einsatz neuer und weitgehend unerprobter Technologien Hinweispflichten zum Schutze der betroffenen Verkehrskreise vor und erkennt damit gleichzeitig an, dass Sicherheitserwartungen im Einzelnen – vertraglich im Rahmen des AGB-rechtlich Zulässigen – modifiziert werden können (s. oben III. 1.). Insoweit schafft Transparenz schutzwürdiges Vertrauen und begrenzt dieses gleichzeitig. Ob und inwieweit es sinnvoll sein kann, zur Minimierung des eigenen Haftungsrisikos auf den Einsatz von ChatGPT hinzuweisen, ist vor diesem Hintergrund im Einzelfall zu prüfen (s. unten IV. 2.).

4. Sorgfaltsanforderungen bei Implementierung, Auswahl und Organisation der Nutzung des konkreten LLMs

Um seinen Sorgfaltspflichten zu genügen, hat der Betreiber bei seiner Entscheidung, LLMs einzusetzen, zu klären, ob die Anwendung überhaupt zulässig ist, welches LLM er hierzu auswählt, und schließlich wie er die Nutzung von ChatGPT intern organisiert.

a) Allgemeine Grenzen bei der Implementierung von LLMs

ChatGPT kann in den gesetzlichen Grenzen genutzt werden, wo eine höchstpersönliche Leistungserbringung nicht (ausnahmsweise) geschuldet ist.74 Grenzen können sich etwa aus Art. 22 DSGVO, der ausschließlich automatisierte Entscheidungen einschränkt, soweit diese nicht ausnahmsweise zulässig sind,75 oder für unternehmerische Entscheidungen76 ergeben. Die Möglichkeit, ChatGPT als Werkzeug bei der Erzeugung von Inhalten als Grundlage für die eigene Entscheidung bzw. Leistung zu nutzen, bleibt unberührt.

Für Hochrisiko-KI-Systeme ergeben sich mit Art. 26 Abs. 2 KI-VO Grenzen aufgrund der Verpflichtung des Betreibers, qualifiziertem Personal die menschliche Aufsicht über die KI zu übertragen. Grundsätzlich unterliegt die Nutzung von ChatGPT zwar nicht diesen Beschränkungen, wird ChatGPT jedoch als Hochrisiko-KI,77 etwa zur (automatisierten) Sortierung von Lebensläufen im Einstellungsprozess, genutzt, so gilt es, dies zu beachten.78

Vor Einführung von ChatGPT in einer Organisation ist somit grundsätzlich zu klären, ob und ggf. inwieweit der Betreiber (vertraglich) hierzu überhaupt berechtigt ist. Unabhängig davon bleibt zu beachten, dass dessen Verantwortung für Schäden durch den Einsatz von ChatGPT unberührt bleibt (s. oben III. 2.).

So hat das LG Kiel79 für einen Wirtschaftsinformationsdienst, der KI-generierte Inhalte veröffentlichte, entschieden, dass sich dieser nicht mit Verweis auf seine Unkenntnis der konkret generierten Inhalte seiner haftungsrechtlichen Verantwortung entziehen könnte. Auch ein entsprechender in den Nutzungsbedingungen pauschal formulierter Haftungsausschluss würde – allein schon mit Blick auf den Grundsatz von Treu und Glauben gem. § 242 BGB80– hieran nichts ändern. Dies gilt umso mehr, als KI ohnehin regelmäßig allein im Rahmen der gesetzlichen Grenzen zur Anwendung kommen darf.81

Vor diesem Hintergrund hat der Betreiber nach Anwendungsfeldern zu differenzieren und insoweit eine entsprechende Risikoanalyse anzustellen. Hierbei hat er das mögliche Schadenspotential für die jeweils betroffenen Rechtsgüter mit der Eintrittswahrscheinlichkeit in Kenntnis der konkreten Gefährdungslage, allgemein insbesondere aufgrund von Halluzinationen sowie des im Einzelfall verwandten LLMs, gegeneinander wertend abzuwägen. Dies erweist sich dann als problematisch, wenn der Betreiber nicht in der Lage ist, die mit dem Einsatz verbundenen Risiken überhaupt dem Grunde nach zu evaluieren, nachdem die Nutzung einer nicht kalkulierbaren Risikoquelle sich als (haftungsbegründende) Sorgfaltspflichtverletzung darstellt.82

Für Hochrisiko-KI-Systeme sieht Art. 13 Abs. 2 KI-VO vor, dass diese mit Betriebsanleitungen zu versehen sind, die präzise, vollständige, korrekte und eindeutige Informationen in einer für die Betreiber relevanten, barrierefrei zugänglichen und verständlichen Form enthalten. Vor diesem Hintergrund sind die seit 2.8.2025 geltenden (Art. 113 lit b) KI-VO) in Art. 53 Abs. 1 KI-VO statuierten Informations- und Dokumentationspflichten des Anbieters von KI-Modellen mit allgemeinem Verwendungszweck in ihrer Bedeutung nicht zu unterschätzen. Diese werden ergänzt durch unverbindliche Leitlinien der Kommission83 als Auslegungshilfe sowie dem auf Freiwilligkeit basierenden KI-Verhaltenskodex für allgemeine Zwecke.84 Die so geschaffenen Transparenzpflichten soll es Anbietern von KI-Systemen ermöglichen, wiederum ihre eigenen Transparenz- und Informationspflichten gegenüber ihren (End-)Kunden zu erfüllen. Auf diese Weise dürften perspektivisch so – zumindest indirekt – Standards gesetzt werden, die für die Risikoinformation gegenüber Betreibern von Hochrisiko-KI-Systemen zu erfüllen sind, um diese in die Lage zu versetzen, ihrerseits die erforderliche Risikoanalyse anzustellen. Es bleibt abzuwarten, was dies für Betreiber von ChatGPT bedeuten wird.

Im Ergebnis muss ein Betreiber also insbesondere die Relevanz des mit Halluzinationen verbundenen Risikos, unzuverlässige Informationen seinen Entscheidungen zugrunde zu legen, für die Frage gewichten, ob im konkreten Anwendungsfeld überhaupt ChatGPT verwendet werden kann. Hierbei wären – entsprechend der Wertungen der KI-VO – die Bedeutung der betroffenen Rechtsgüter und die Risikoeintrittswahrscheinlichkeit zu bewerten.85

b) Auswahl des konkreten LLM für das jeweilige Anwendungsfeld

LLMs sind aufgrund ihrer Ausgestaltung und Leistungsfähigkeit für einzelne Anwendungsfelder unterschiedlich gut geeignet. Sie unterscheiden sich hierbei, insbesondere aufgrund der zugrundeliegenden Trainingsdaten, wobei deren jeweilige Sprachfassungen mit ihren entsprechenden semantischen Unterschieden abhängig vom Einsatzfeld einen Einfluss auf den Output der KI haben können.86

Dies gilt etwa für den KI-Einsatz in der Rechtsberatung, bei der naturgemäß die Beachtung sprachlicher Besonderheiten der jeweiligen Rechtsordnungen entscheidend für die Qualität der erzeugten Inhalte ist.87 Ganz allgemein gilt für die Rechtsberatung, dass die verwandten LLMs (bislang) besonders anfällig für das Halluzinieren sind.88 Zudem können vor Inverkehrbringen der jeweiligen LLMs diese unterschiedliche Sicherheits-Checks durchlaufen haben mit ggf. negativen Auswirkungen auf deren Risikoprofil.89 Schließlich können datenschutzrechtliche Fragen bei der Auswahl zu beachten sein, die sich im Zusammenhang mit dem Hosting ergeben können.90

c) Organisation der Nutzung von ChatGPT

Ein Betreiber muss bei der Gestaltung seiner Organisation die notwendigen und zumutbaren Vorkehrungen treffen, eine Schädigung infolge der Nutzung von ChatGPT möglichst zu verhindern.91 Hierzu hat er seinem Personal und den von ihm Beauftragten, die für die Nutzung von ChatGPT (zur Vertragserfüllung) erforderlichen Fähigkeiten und Kenntnisse zu vermitteln, insbesondere in (Schulungs-)Maßnahmen gem. Art. 4 KI-VO.92 So ist zu gewährleisten, dass Nutzer von ChatGPT fundierte Entscheidungen im Anwendungsfall treffen und damit im Interesse des Vertrauensschutzes die angemessene Einhaltung und die ordnungsgemäße Durchführung der KI-VO sichergestellt ist.93

IV. Gestaltungsoptionen zur Haftungsminimierung

Einen allgemeinen Sorgfaltsmaßstab kennt das deutsche Recht nicht, vielmehr ist dieser im Einzelfall unter Berücksichtigung des Vertrauens der betroffenen Verkehrskreise in die gesetzeskonforme Nutzung von ChatGPT zu bestimmen. Zur möglichen Haftungsminimierung ist dies beim Aufbau entsprechender Governance-Strukturen und deren Dokumentation, zu berücksichtigen. Dem Grunde nach kann dabei der Sorgfaltsmaßstab vertraglich modifiziert werden, wobei schutzwürdige Interessen Dritter hiervon jedenfalls unberührt blieben.

1. Governance und Dokumentation

Art. 26 KI-VO statuiert Governance- und Dokumentationspflichten allein für Betreiber von Hochrisiko-KI-Systemen. Diese Pflichten gelten damit nicht für Betreiber von ChatGPT, solange sie dieses nicht als Hochrisiko-KI-System für die in Anlage III genannten Zwecke, etwa im Recruiting, nutzen.

Unabhängig von der Risikoklassifikation bestehen jedoch Organisationspflichten des Betreibers. Insoweit hat der Betreiber gem. Art. 4 KI-VO die Pflicht, seinem Personal und sonstige von ihm Beauftragte ausreichende KI-Kompetenzen zu vermitteln. Im Interesse der Flexibilität sieht die KI-VO bewusst kein spezifisches Format oder einen sonstigen formalisierten und standardisierten Maßnahmenkatalog, etwa die Einführung eines KI-Beauftragten, vor.94 Gleichzeitig dürfte es wegen der KI-spezifischen Risiken95 unzureichend sein, sich als Betreiber für die Vermittlung von KI-Kompetenzen allein auf die Gebrauchsanweisung der KI-Systeme zu verlassen oder Mitarbeiter lediglich zu bitten, diese zu lesen, vielmehr dürften mit der Kommission entsprechende Schulungen und Leitlinien bereitzustellen sein.96 Insoweit gibt die Kommission mit ihren entsprechenden Leitfragen Hinweise für die Ausgestaltung solcher unternehmensinternen KI-Kompetenzvermittlung97 und verweist zudem auf unverbindliche Best-Practice-Beispiele.98 Daneben benennt die Bundesnetzagentur in ihrem Hinweispapier Grundsteine, die sie für den Aufbau von KI-Kompetenz als geeignet erachtet: Entsprechend allgemeinen Compliance-Programmen reichen diese von der individuellen Bedarfsermittlung über die hierauf aufbauende Ausgestaltung von konkreten Maßnahmen, etwa im Hinblick auf den Kontext des KI-Einsatzes, bis zur regelmäßigen Auffrischung und Dokumentation der durchgeführten Maßnahmen.99

Im Lichte der gesetzgeberischen Entscheidung, formalisierte Governance- und Dokumentations-Strukturen allein für den Betrieb von Hochrisiko-KI-Systeme vorzusehen, sprechen gute Gründe dafür, keine allzu überzogenen Anforderungen für die Nutzung von ChatGPT zu stellen. Dies wird die Rechtsprechung bei der weiteren Konkretisierung der Anforderungen im Rahmen von Art. 4 KI-VO zu berücksichtigen haben.

2. Transparenz zur Qualifikation der Sicherheitserwartungen bei der Nutzung von ChatGPT

Welchen Einfluss der Einsatz von ChatGPT auf die erzeugten Inhalte hat, hängt vom jeweiligen Einsatzfeld ab: KI kann dabei sowohl zur Steigerung der Qualität wie zu deren Minderung, insbesondere infolge Halluzinierens, führen.

Im Lichte der höchstrichterlichen Rechtsprechung zu Aufklärungs- und Hinweispflichten beim Einsatz neuer und weitgehend unerprobter Technologien100 stellt sich entsprechende Transparenz im Vertragsverhältnis als probates Mittel dar, das Vertrauen des Vertragspartners zu modifizieren, und so den Sorgfaltsmaßstab – in den Grenzen des Rechts der Allgemeinen Geschäftsbedingungen – zu modifizieren. Es kann also sinnvoll sein, ganz unabhängig von Transparenzpflichten gem. Art. 50 Abs. 4 KI-VO für Betreiber bei Veröffentlichung von mithilfe von KI erzeugten Deepfakes im Sinne des Art. 3 Nr. 60 KI-VO bzw. für den öffentlichen Diskurs bestimmte Informationen, auf die KI-Verwendung und die sich hieraus ergebenden Konsequenzen hinzuweisen.101 Die mit dem KI-Einsatz verbundenen Chancen und Risiken wären so einem (potentiellen) Vertragspartner bekannt und im Falle deren Verwirklichung eine haftungsrechtlich relevante Sorgfaltspflichtverletzung damit letzlich schwer begründbar.

Im Fall der Erbringung (anwaltlicher) Beratungsleistungen könnte damit etwa darauf hingewiesen werden, dass bei der Sachverhaltsermittlung102 auf ChatGPT zurückgegriffen wurde.103 Dies kann bei der Verarbeitung großer Datenmengen, z. B. in M&A-Transaktionen oder komplexen Streitverfahren, einen (erheblichen) Effizienzgewinn darstellen und gleichzeitig mit einer Kostenreduktion verbunden sein. Allerdings besteht die Gefahr, dass die (anwaltliche) Beratung ggf. auf der Grundlage eines nicht zutreffend bzw. nicht vollständig ausermittelten Sachverhalts erbracht wird. Die (anwaltliche) Beratung wäre hier etwa als sog. Red Flag Due Dilligence auf Dealbreaker vertraglich zu beschränken, wo nur auf die die Transaktion gefährdende Risiken geprüft werden würde.104

Grenzen der Vertragsgestaltung ergeben sich jedenfalls dort, wo Drittinteressen betroffen sind, da die Verwendung von ChatGPT die allgemein geltende haftungsrechtliche Verantwortung des Betreibers unberührt lässt.105 Nutzt ein Betreiber ChatGPT etwa beim Verfassen von Werbetexten,106 kann sich dies zwar als eine kostenoptimierte Option für einen Kunden darstellen. Gleichzeitig gehen damit (rechtliche) Risiken, etwa aus dem Urheberrecht, dem Verbraucherschutzrecht oder dem Wettbewerbsrecht107 einher, die im Außenverhältnis nicht zulasten der hierdurch geschützten Personenkreise ausgeschlossen werden können.108 Im Innenverhältnis könnte hier zwar mit Freistellungsansprüchen bzw. der Beschränkung des Leistungsversprechens – jeweils im Rahmen des AGB-rechtlich Zulässigen – das Haftungsrisiko des Betreibers gegenüber dem jeweiligen Kunden minimiert werden; Ansprüche geschützter Dritter können so jedoch nicht wirksam modifiziert werden oder diese gänzlich ausschließen.

V. Fazit und Ausblick

Die Nutzung von ChatGPT birgt Chancen und Risiken. Die KI-VO hat sich insoweit zum Ziel gesetzt, einen Rechtsrahmen für die verantwortungsvolle Nutzung vertrauenswürdiger KI zu schaffen, ohne dabei einen allgemein gültigen Sorgfaltsmaßstab zu statuieren. Schutzwürdiges Vertrauen der von KI-Einsatz Betroffenen und Bestimmung des anwendbaren Sorgfaltsmaßstabes stehen insoweit in einer Wechselwirkung: Die Allgemeinheit darf dabei einerseits auf die gesetzeskonforme Nutzung von ChatGPT vertrauen, andererseits besteht die Möglichkeit dieses Vertrauen im Vertragsverhältnis zu modifizieren.

Daher sollten Betreiber, um ihr mit der Nutzung von ChatGPT einhergehendes Haftungsrisiko zu minimieren, einerseits ausreichende KI-Kompetenz ihres Personals und der von ihnen Beauftragten aufbauen und andererseits die Möglichkeiten der Vertragsgestaltung – innerhalb des AGB-rechtlich Zulässigen – nutzen.

Es gilt daher schon jetzt

• Entscheidungen bezüglich des Einsatzes und der Nutzung von LLMs nachvollziehbar und dokumentiert zu treffen,
• allgemeine KI-Kompetenzen im Unternehmen strukturiert aufzubauen und
• bestehende Verträge und Vertragsmuster für Leistungen, bei denen ChatGPT zum Einsatz gelangt, zu überprüfen und ggf. zu überarbeiten.

---