Was darf ChatGPT nicht? Rechtliche Grenzen, Risiken und Praxistipps

Die Frage „was darf ChatGPT nicht?“ stellt sich in Unternehmen, Kanzleien, Agenturen, Schulen und im privaten Alltag zunehmend konkret. Gemeint ist nicht nur, welche technischen Sperren ein KI-System hat. Rechtlich entscheidend ist vor allem, welche Eingaben, Nutzungen und Weitergaben für Nutzer, Arbeitgeber, Dienstleister oder Plattformbetreiber problematisch werden können.

ChatGPT kann Texte entwerfen, Daten strukturieren, Ideen entwickeln und Informationen zusammenfassen. Daraus folgt jedoch nicht, dass jede Eingabe zulässig oder jedes Ergebnis bedenkenlos verwendbar ist. Datenschutzrecht, Urheberrecht, Persönlichkeitsrechte, Geheimnisschutz, Arbeitsrecht, Wettbewerbsrecht und branchenspezifische Vorgaben setzen Grenzen. Hinzu kommt: KI-Ausgaben können unvollständig, veraltet, erfunden oder rechtlich falsch sein.

Dieser Beitrag ordnet die wichtigsten Grenzen ein, grenzt typische Fehlannahmen ab und zeigt, welche Prüf- und Dokumentationsschritte in der Praxis sinnvoll sind. Die Darstellung ersetzt keine Einzelfallberatung, hilft aber dabei, Risiken früh zu erkennen und den Einsatz von ChatGPT rechtssicherer zu organisieren.

Inhaltsverzeichnis

1. Was darf ChatGPT nicht? Die rechtliche Einordnung
2. Gesetzliche Grundlagen: Datenschutz, Urheberrecht, KI-Regulierung und Geheimnisschutz
3. Abgrenzung: Was ist verboten, was ist nur riskant und was ist erlaubt?
4. Personenbezogene Daten: Was darf nicht in ChatGPT eingegeben werden?
5. Urheberrecht und Inhalte Dritter: Was darf ChatGPT nicht kopieren oder verwerten?
6. Geschäftsgeheimnisse, Mandatsdaten und interne Unterlagen
7. Typische Praxisfälle: Unternehmen, Beschäftigte, Schulen und Privatpersonen
8. Risiken, Haftung und typische Fehler beim Einsatz von ChatGPT
9. Fristen, Löschung, Meldepflichten und Verjährung
10. Beweise und Dokumentation: Was sollte festgehalten werden?
11. Handlungsschritte: Wie lässt sich ChatGPT rechtssicherer nutzen?
12. Was darf ChatGPT nicht in sensiblen Entscheidungen übernehmen?
13. … und 2 weitere Abschnitte

Was darf ChatGPT nicht? Die rechtliche Einordnung

ChatGPT selbst ist kein Rechtssubjekt wie ein Mensch oder ein Unternehmen. Rechtlich verantwortlich sind regelmäßig diejenigen, die das System bereitstellen, in eine Organisation einbinden oder konkret nutzen. Wenn also gefragt wird, was ChatGPT nicht darf, geht es in der Praxis meist um drei Ebenen: Was darf der Anbieter mit Daten und Modellen nicht tun, was darf ein Unternehmen seinen Beschäftigten nicht erlauben oder abverlangen, und was dürfen einzelne Nutzer nicht eingeben, erzeugen oder veröffentlichen.

Eine wichtige Grundlage bildet die Datenschutz-Grundverordnung, sobald personenbezogene Daten verarbeitet werden. Personenbezogen sind nicht nur Namen und Adressen, sondern auch Kundennummern, IP-Adressen, Gesundheitsdaten, Bewerbungsunterlagen, Gesprächsnotizen oder Kombinationen aus Informationen, die eine Person identifizierbar machen. Wer solche Daten in ein KI-Tool eingibt, veranlasst regelmäßig eine Verarbeitung. Diese benötigt eine Rechtsgrundlage, muss zweckgebunden, transparent und datensparsam erfolgen.

Daneben sind urheberrechtliche Grenzen zu beachten. Geschützte Texte, Bilder, Codes, Gutachten, Schulungsunterlagen oder Datenbanken dürfen nicht ohne Weiteres kopiert, in Prompts eingefügt oder als KI-generierte Bearbeitung weiterverwendet werden. Auch Geschäftsgeheimnisse und vertrauliche Mandanten-, Patienten- oder Kundendaten dürfen nicht unkontrolliert an externe Systeme übermittelt werden. Für bestimmte Berufsgruppen kommen besondere Verschwiegenheitspflichten hinzu, etwa bei Rechtsanwälten, Steuerberatern, Ärzten oder Psychotherapeuten.

Hinzu treten Persönlichkeitsrechte, strafrechtliche Grenzen und wettbewerbsrechtliche Vorgaben. ChatGPT darf nicht dazu genutzt werden, ehrverletzende Behauptungen zu verbreiten, Täuschungen vorzubereiten, diskriminierende Entscheidungen zu automatisieren oder irreführende Werbung zu erstellen. Grundsätzlich kann KI als Hilfsmittel eingesetzt werden. Die Verantwortung für Auswahl, Eingabe, Prüfung und Nutzung bleibt jedoch beim Menschen oder bei der Organisation, die das Tool einsetzt.

Gesetzliche Grundlagen: Datenschutz, Urheberrecht, KI-Regulierung und Geheimnisschutz

Eine einzige Norm, die alle Grenzen von ChatGPT abschließend regelt, gibt es nicht. Der rechtliche Rahmen ergibt sich aus mehreren Rechtsgebieten. Im Datenschutzrecht sind insbesondere die DSGVO und das Bundesdatenschutzgesetz relevant. Sie verlangen eine tragfähige Rechtsgrundlage, Informationspflichten, technische und organisatorische Maßnahmen, Löschkonzepte und gegebenenfalls eine Datenschutz-Folgenabschätzung. Je sensibler die Daten sind, desto höher sind die Anforderungen.

Für Unternehmen ist außerdem entscheidend, ob der Einsatz eines KI-Tools als Auftragsverarbeitung, gemeinsame Verantwortlichkeit oder eigenständige Verantwortlichkeit des Anbieters einzuordnen ist. Diese Einordnung hängt vom konkreten Produkt, den Vertragsbedingungen, den Einstellungen und dem Nutzungszweck ab. Ein pauschaler Hinweis, man nutze lediglich ein öffentlich zugängliches Tool, genügt im Regelfall nicht, wenn personenbezogene Daten oder vertrauliche Geschäftsunterlagen verarbeitet werden.

Das Urheberrecht schützt persönliche geistige Schöpfungen. Wer fremde Texte oder Bilder in ChatGPT eingibt, kann bereits durch das Hochladen, Kopieren oder Weiterverarbeiten Rechte berühren. Auch bei der Ausgabe stellt sich die Frage, ob der generierte Text frei verwendbar ist oder ob er geschützten Vorlagen zu nahekommt. Bei sehr allgemeinen Formulierungen ist das Risiko meist geringer. Bei spezifischen Textpassagen, Quellcode, Grafiken, Liedtexten oder umfangreichen Auszügen aus Fachwerken kann es erheblich steigen.

Der Schutz von Geschäftsgeheimnissen ergibt sich aus dem Geschäftsgeheimnisgesetz. Geschäftsgeheimnisse sind Informationen, die nicht allgemein bekannt sind, einen wirtschaftlichen Wert haben und durch angemessene Geheimhaltungsmaßnahmen geschützt werden. Werden vertrauliche Strategiepapiere, Kundenlisten, Kalkulationen oder technische Spezifikationen ohne Schutzkonzept in ein externes KI-System eingegeben, kann dies nicht nur vertragsrechtliche, sondern auch geheimnisschutzrechtliche Folgen haben.

Auf europäischer Ebene ist zudem die KI-Verordnung von Bedeutung. Sie verfolgt einen risikobasierten Ansatz. Bestimmte KI-Praktiken sind unzulässig, Hochrisiko-Anwendungen unterliegen besonderen Anforderungen, und für bestimmte Systeme bestehen Transparenzpflichten. Für die alltägliche Nutzung von ChatGPT bedeutet das nicht, dass jeder Prompt automatisch reguliert ist. Relevant wird die Verordnung aber insbesondere, wenn KI in sensiblen Bereichen wie Personalentscheidungen, Bildung, Kreditwürdigkeitsprüfung, kritischer Infrastruktur oder behördlichen Verfahren eingesetzt wird.

Abgrenzung: Was ist verboten, was ist nur riskant und was ist erlaubt?

In der Praxis werden drei Ebenen häufig vermischt: rechtlich verboten, vertraglich untersagt und sachlich riskant. Ein Verhalten kann ausdrücklich rechtswidrig sein, etwa wenn Gesundheitsdaten ohne Rechtsgrundlage in ein externes System eingegeben oder fremde Texte unbefugt veröffentlicht werden. Es kann aber auch „nur“ gegen Nutzungsbedingungen, interne IT-Richtlinien oder Vertraulichkeitsvereinbarungen verstoßen. Schließlich gibt es Fälle, die zwar nicht eindeutig verboten sind, aber wegen Fehleranfälligkeit, fehlender Nachvollziehbarkeit oder Reputationsrisiken nicht ohne Kontrolle erfolgen sollten.

Diese Unterscheidung ist wichtig, weil sich daraus unterschiedliche Rechtsfolgen ergeben. Ein Datenschutzverstoß kann Bußgelder, Schadensersatzansprüche und Meldepflichten auslösen. Ein Verstoß gegen interne Richtlinien kann arbeitsrechtliche Konsequenzen haben. Eine sachlich falsche KI-Ausgabe kann zu Haftungsfragen führen, wenn sie ungeprüft gegenüber Kunden, Patienten, Anlegern oder Behörden verwendet wird.

Die Tabelle zeigt: Die Frage lässt sich nicht mit einem einfachen Ja oder Nein beantworten. Entscheidend sind Inhalt des Prompts, Zweck der Verarbeitung, Rechtsgrundlage, Vertraulichkeit der Informationen, Adressatenkreis der Ausgabe und die Kontrolle durch fachkundige Personen. Auch technisch ähnliche Nutzungssituationen können rechtlich unterschiedlich zu bewerten sein. Eine anonymisierte Beispielbeschreibung kann zulässig sein, während derselbe Fall mit Namen, Vertragsnummern und sensiblen Details problematisch wird.

Erlaubt ist in vielen Fällen die Nutzung von ChatGPT als Ideengeber, Formulierungshilfe, Strukturierungswerkzeug oder Unterstützung bei nicht vertraulichen Standardaufgaben. Riskant wird es, wenn die KI über konkrete Personen, rechtserhebliche Tatsachen oder sensible Entscheidungen eingesetzt wird. Verboten oder jedenfalls nur unter engen Voraussetzungen zulässig ist die Nutzung, wenn gesetzliche Verbote, Geheimhaltungspflichten, Rechte Dritter oder zwingende Transparenz- und Prüfpflichten entgegenstehen.

Personenbezogene Daten: Was darf nicht in ChatGPT eingegeben werden?

Personenbezogene Daten sind einer der wichtigsten Risikobereiche beim Einsatz von ChatGPT. Grundsätzlich dürfen solche Daten nur verarbeitet werden, wenn eine Rechtsgrundlage besteht und die Verarbeitung erforderlich, transparent und angemessen abgesichert ist. Gerade bei frei zugänglichen KI-Diensten ist häufig unklar, wo Daten verarbeitet werden, ob sie für Trainingszwecke genutzt werden, wie lange sie gespeichert bleiben und wer Zugriff erhält. Diese Unsicherheiten schließen eine Nutzung nicht stets aus, erhöhen aber die Prüfpflichten deutlich.

Besonders sensibel sind Daten im Sinne von Art. 9 DSGVO. Dazu gehören Gesundheitsdaten, biometrische Daten, Angaben zur sexuellen Orientierung, religiösen oder weltanschaulichen Überzeugung, politischen Meinung oder Gewerkschaftszugehörigkeit. Auch strafrechtlich relevante Informationen sind besonders geschützt. Wer solche Daten in ChatGPT eingibt, benötigt regelmäßig eine besonders tragfähige Rechtsgrundlage und zusätzliche Schutzmaßnahmen. In vielen Alltagssituationen wird diese Grundlage fehlen.

Auch scheinbar harmlose Daten können problematisch sein, wenn sie mit weiteren Angaben kombiniert werden. Ein Prompt wie „Formuliere eine Abmahnung für unseren Mitarbeiter Max Müller, geboren am …, wegen folgender Vorfälle …“ enthält arbeitsrechtlich sensible Informationen. Gleiches gilt für Bewerbungsunterlagen, Beschwerden, Kundenkommunikation, Versicherungsfälle, Zahlungsrückstände, Wohnungsangelegenheiten oder Schulberichte.

Eine häufige Fehlannahme lautet, dass das Entfernen des Namens immer ausreiche. Das stimmt nur, wenn die Person tatsächlich nicht mehr identifizierbar ist. In kleineren Unternehmen, spezialisierten Branchen oder bei ungewöhnlichen Sachverhalten kann eine Identifizierung auch ohne Namen möglich sein. Daher ist zwischen Anonymisierung und Pseudonymisierung zu unterscheiden. Anonymisierte Daten fallen grundsätzlich nicht unter die DSGVO; pseudonymisierte Daten bleiben personenbezogen, wenn eine Zuordnung möglich ist.

In der Praxis sollten personenbezogene Daten nur dann in ChatGPT eingegeben werden, wenn zuvor geklärt wurde, ob eine geeignete Unternehmensversion, ein Datenschutzvertrag, angemessene Einstellungen, Zugriffskontrollen und Löschregelungen bestehen. Für private Nutzer gilt ebenfalls Vorsicht: Wer Daten über Dritte eingibt, kann Persönlichkeitsrechte verletzen oder gegen Vertraulichkeitspflichten verstoßen. Bei eigenen Daten ist die Nutzung meist weniger problematisch, aber nicht automatisch risikofrei, insbesondere wenn sensible Informationen betroffen sind.

Urheberrecht und Inhalte Dritter: Was darf ChatGPT nicht kopieren oder verwerten?

ChatGPT darf nicht als Werkzeug genutzt werden, um fremde urheberrechtlich geschützte Inhalte unbefugt zu vervielfältigen, zu bearbeiten oder öffentlich zugänglich zu machen. Das betrifft nicht nur Bücher, Fachartikel und Bilder, sondern auch Präsentationen, Softwarecode, Musiktexte, Produktbeschreibungen, Datenbanken, Schulungsunterlagen und journalistische Beiträge. Wer solche Inhalte in ein KI-System eingibt, sollte prüfen, ob er dazu berechtigt ist und ob die spätere Ausgabe eine zulässige Nutzung darstellt.

Urheberrechtlich relevant ist zunächst die Eingabe. Wird ein kompletter Fachartikel, ein Vertragsmuster aus einer Datenbank oder ein fremder Quellcode in einen Prompt kopiert, kann dies eine Vervielfältigung darstellen. Ob eine Schranke des Urheberrechts greift, hängt vom Zweck, Umfang und Kontext ab. Private Nutzung, Zitatrecht, Text- und Data-Mining-Ausnahmen oder interne Bearbeitung können eine Rolle spielen, tragen aber nicht jede Nutzung. Insbesondere die anschließende geschäftliche Verwendung ist sorgfältig zu prüfen.

Auch die Ausgabe ist rechtlich nicht automatisch frei. KI-generierte Texte sind zwar häufig nicht urheberrechtlich geschützt, wenn keine menschliche schöpferische Leistung hinzutritt. Das bedeutet jedoch nicht, dass sie ohne Risiken veröffentlicht werden können. Wenn die Ausgabe einem geschützten Ausgangstext sehr ähnlich ist oder charakteristische Elemente übernimmt, kann eine Rechteverletzung vorliegen. Bei Marken, Produktnamen, Slogans, Bildern und Logos kommen weitere Schutzrechte hinzu.

Problematisch ist außerdem die Aufforderung, Inhalte „im Stil von“ lebenden Autorinnen, Künstlern oder bestimmten Markenauftritten zu erzeugen. Nicht jede stilistische Anlehnung ist rechtswidrig. Je näher die Ausgabe aber an geschützte Werke, Kennzeichen, kommerzielle Gestaltung oder Persönlichkeitsmerkmale heranrückt, desto größer werden Risiken aus Urheberrecht, Markenrecht, Wettbewerbsrecht und Persönlichkeitsrecht.

Für Unternehmen empfiehlt sich eine klare Regel: Fremdmaterial nur dann in ChatGPT eingeben, wenn Rechte, Lizenzen und Verwendungszweck geklärt sind. Bei veröffentlichten KI-Texten sollte dokumentiert werden, welche Quellen genutzt wurden, welche menschlichen Änderungen erfolgten und ob eine Plagiats- oder Rechteprüfung vorgenommen wurde. Bei Softwarecode ist zusätzlich zu beachten, dass Lizenzbedingungen von Open-Source-Komponenten verletzt werden können, wenn Codefragmente unkontrolliert übernommen werden.

Geschäftsgeheimnisse, Mandatsdaten und interne Unterlagen

Ein besonders sensibles Feld sind vertrauliche Informationen. Dazu gehören Kalkulationen, Vertriebsstrategien, Kundenlisten, technische Spezifikationen, unveröffentlichte Forschungsergebnisse, Vertragsentwürfe, Prozessstrategien, Personalplanungen und interne Risikoanalysen. ChatGPT kann solche Informationen sprachlich aufbereiten oder zusammenfassen. Genau darin liegt aber das Problem: Die Eingabe kann eine Offenlegung gegenüber einem externen Dienst darstellen, wenn keine geeigneten rechtlichen und technischen Schutzvorkehrungen bestehen.

Das Geschäftsgeheimnisgesetz verlangt, dass Unternehmen angemessene Geheimhaltungsmaßnahmen treffen. Was angemessen ist, hängt von Größe, Branche, Wert der Information und Schutzkonzept ab. Fehlen interne KI-Richtlinien, Zugriffsbeschränkungen, Schulungen oder vertragliche Regelungen mit Dienstleistern, kann es schwieriger werden, den Geheimnischarakter später durchzusetzen. Das gilt besonders, wenn Beschäftigte vertrauliche Unterlagen eigenmächtig in öffentlich zugängliche Tools eingeben.

Bei Berufsgeheimnisträgern ist die Lage zusätzlich verschärft. Anwälte, Ärzte, Steuerberater, Wirtschaftsprüfer und andere Berufsgruppen unterliegen gesetzlichen Verschwiegenheitspflichten. Mandats-, Patienten- oder Mandantendaten dürfen nicht ohne Weiteres an externe Anbieter übermittelt werden. Je nach Konstellation können berufsrechtliche, strafrechtliche und datenschutzrechtliche Fragen entstehen. Eine Nutzung ist nicht per se ausgeschlossen, muss aber organisatorisch und vertraglich besonders sorgfältig abgesichert sein.

Auch innerhalb eines Unternehmens darf ChatGPT nicht dazu dienen, interne Zuständigkeits- und Freigaberegeln zu umgehen. Wenn etwa ein Mitarbeiter einen vertraulichen Unternehmenskaufvertrag zusammenfassen lässt, ohne dass das Tool dafür freigegeben ist, kann dies arbeitsrechtlich relevant werden. Gleiches gilt für Entwicklungsabteilungen, die Quellcode, Produktpläne oder Patentideen in externe Systeme eingeben. Der Schaden liegt nicht nur in einem möglichen Datenabfluss, sondern auch im Verlust der Kontrolle über Informationen.

Praktikabel ist eine abgestufte Schutzlogik. Öffentliche oder allgemein verfügbare Informationen können häufig genutzt werden. Interne, aber nicht besonders sensible Informationen erfordern Freigabe und Zweckbindung. Vertrauliche, personenbezogene oder geheimhaltungsbedürftige Informationen sollten nur in geprüften Systemen verarbeitet werden. Für besonders sensible Daten kann eine Nutzung trotz technischer Möglichkeiten unzulässig oder wirtschaftlich nicht vertretbar sein.

Typische Praxisfälle: Unternehmen, Beschäftigte, Schulen und Privatpersonen

Die rechtlichen Grenzen zeigen sich häufig erst in konkreten Anwendungssituationen. Ein Marketingteam möchte Produkttexte schneller erstellen, ein Personalbereich will Bewerbungen vorsortieren, ein Vertriebsteam lässt Kundengespräche zusammenfassen, eine Lehrkraft prüft Schülerarbeiten, ein Student erstellt eine Hausarbeit, ein Verbraucher lässt einen Streitfall bewerten. Jede dieser Situationen hat eigene Risiken. Maßgeblich ist nicht nur der technische Vorgang, sondern der rechtliche Kontext.

Im Unternehmen ist die Nutzung für Entwürfe, Zusammenfassungen und interne Strukturierungen oft möglich, wenn keine vertraulichen oder personenbezogenen Daten eingegeben werden. Problematisch wird es bei Kundenfällen, Personalakten, Beschwerdeakten, Compliance-Hinweisen oder Vertragsentwürfen mit sensiblen Informationen. Arbeitgeber sollten außerdem regeln, ob Beschäftigte private Accounts verwenden dürfen, ob Ausgaben gekennzeichnet werden müssen und wer die fachliche Endkontrolle übernimmt.

Im Personalbereich ist besondere Zurückhaltung geboten. KI darf nicht unreflektiert entscheiden, wer eingestellt, befördert, abgemahnt oder gekündigt wird. Automatisierte oder KI-gestützte Entscheidungen können Diskriminierungsrisiken auslösen und unterliegen je nach Ausgestaltung arbeitsrechtlichen, datenschutzrechtlichen und künftig KI-regulatorischen Anforderungen. Selbst wenn ein Mensch formal entscheidet, kann eine ungeprüfte KI-Empfehlung faktisch prägend sein. Dann muss nachvollziehbar bleiben, welche Kriterien verwendet wurden.

In Schulen, Hochschulen und Ausbildungseinrichtungen stellen sich andere Fragen. Lernende dürfen ChatGPT nicht zur Täuschung über eigene Leistungen einsetzen, wenn Prüfungsordnungen, Aufgabenstellungen oder Eigenständigkeitserklärungen dies ausschließen. Lehrkräfte sollten personenbezogene Schülerdaten, Bewertungen und Förderbedarfe nicht ungesichert in externe Systeme eingeben. Zulässig kann dagegen sein, allgemeine Übungsaufgaben, Gliederungsvorschläge oder anonymisierte Beispiele zu erstellen, sofern die Ergebnisse pädagogisch geprüft werden.

Privatpersonen nutzen ChatGPT häufig für Beschwerden, Kündigungsschreiben, Rechtsfragen oder medizinische Ersteinschätzungen. Hier ist nicht jede Nutzung rechtlich problematisch. Risiken entstehen jedoch, wenn Daten Dritter, vertrauliche Unterlagen oder ehrverletzende Inhalte verarbeitet werden. Wer eine KI-Ausgabe ungeprüft veröffentlicht, etwa eine Anschuldigung gegen einen Nachbarn, Arbeitgeber oder Anbieter, kann für unwahre Tatsachenbehauptungen, Beleidigungen oder Rufschädigungen verantwortlich sein.

Auch im E-Commerce und bei Selbstständigen gibt es typische Konflikte. KI-generierte Produktbeschreibungen können irreführend sein, wenn Eigenschaften erfunden werden. Bewertungen oder Erfahrungsberichte dürfen nicht künstlich erzeugt und als echte Kundenmeinungen dargestellt werden. Branchen mit regulierten Aussagen, etwa Finanzdienstleistungen, Medizinprodukte, Nahrungsergänzungsmittel oder Rechtsdienstleistungen, müssen besonders darauf achten, dass KI-Texte keine unzulässigen Versprechen, Empfehlungen oder Garantien enthalten.

Risiken, Haftung und typische Fehler beim Einsatz von ChatGPT

Die Haftung hängt davon ab, wer ChatGPT zu welchem Zweck eingesetzt hat und welche Pflichten verletzt wurden. Ein Unternehmen kann für Datenschutzverstöße, fehlerhafte Kundeninformationen, irreführende Werbung oder Vertragsverletzungen verantwortlich sein, auch wenn der unmittelbare Text von einer KI erzeugt wurde. Die KI ist kein haftungsfreier Zwischenraum. Wer ein Ergebnis nutzt, veröffentlicht oder in Entscheidungen einfließen lässt, muss es angemessen prüfen.

Bei Beschäftigten kommt es darauf an, ob interne Vorgaben existieren, ob diese wirksam kommuniziert wurden und ob der konkrete Verstoß schuldhaft war. Nutzt ein Mitarbeiter ein nicht freigegebenes Tool trotz klarer Anweisung für vertrauliche Kundendaten, können arbeitsrechtliche Maßnahmen in Betracht kommen. Fehlen dagegen Richtlinien und Schulungen, liegt ein Organisationsproblem des Arbeitgebers näher. Auch Auftragnehmer und Dienstleister müssen prüfen, ob ihre Verträge den Einsatz von KI erlauben oder ob Kundendaten nur in bestimmten Systemen verarbeitet werden dürfen.

Typische Fehler entstehen weniger durch spektakuläre Missbräuche als durch Alltagsroutinen. Gerade weil ChatGPT einfach bedienbar ist, werden rechtliche Prüfungen schnell übersprungen. Häufige Fehler sind:

• personenbezogene Daten ohne Rechtsgrundlage oder Anonymisierung in Prompts einzugeben,
• vertrauliche Verträge, Quellcodes oder Kundenlisten in nicht freigegebene Tools hochzuladen,
• KI-Ausgaben ungeprüft als fachlich, medizinisch, steuerlich oder rechtlich richtig zu übernehmen,
• fremde Texte, Bilder oder Codebestandteile ohne Rechteprüfung weiterzuverwenden,
• fehlende Kennzeichnung oder Transparenz bei KI-generierten Inhalten, wenn diese erwartet oder vorgeschrieben ist,
• automatisierte Empfehlungen in Personal-, Kredit- oder Auswahlentscheidungen unkritisch zu nutzen,
• keine internen Zuständigkeiten, Freigaben und Dokumentationen für KI-Anwendungen festzulegen,
• alte Prompts, Chatverläufe oder Exportdateien unkontrolliert zu speichern oder weiterzuleiten.

Die Folgen können unterschiedlich ausfallen. In Betracht kommen Unterlassungs- und Schadensersatzansprüche, Abmahnungen, Bußgelder, arbeitsrechtliche Konsequenzen, Verlust von Geschäftsgeheimnissen oder Reputationsschäden. Nicht jedes Risiko verwirklicht sich automatisch, und nicht jeder Fehler führt sofort zu Haftung. Entscheidend ist jedoch, ob angemessene Vorsorgemaßnahmen getroffen wurden und ob im Streitfall nachvollziehbar dargelegt werden kann, wie die KI genutzt, geprüft und kontrolliert wurde.

Besonders kritisch sind Fälle, in denen KI-Ergebnisse nach außen wirken: Kundenberatung, Gesundheitsinformationen, Anlagehinweise, Rechtsauskünfte, Produktversprechen, Bewerberauswahl oder behördliche Kommunikation. Hier reicht ein allgemeiner Disclaimer häufig nicht aus. Wer fachliche Verantwortung trägt, muss die Ausgabe inhaltlich überprüfen, Unsicherheiten offenlegen und bei sensiblen Entscheidungen menschliche Kontrolle sicherstellen.

Fristen, Löschung, Meldepflichten und Verjährung

Bei der Frage, was ChatGPT nicht darf, werden Fristen häufig übersehen. Sie werden vor allem relevant, wenn bereits Daten eingegeben, Inhalte veröffentlicht oder Rechte Dritter verletzt wurden. Im Datenschutzrecht kann eine Verletzung des Schutzes personenbezogener Daten eine Meldung an die zuständige Aufsichtsbehörde erforderlich machen. Diese Meldung muss grundsätzlich unverzüglich und möglichst binnen 72 Stunden erfolgen, nachdem die verantwortliche Stelle Kenntnis erlangt hat. Ob eine Meldepflicht besteht, hängt vom Risiko für die betroffenen Personen ab.

Zusätzlich kann eine Benachrichtigung betroffener Personen erforderlich sein, wenn voraussichtlich ein hohes Risiko für deren Rechte und Freiheiten besteht. Das kann etwa bei sensiblen Gesundheitsdaten, Zugangsdaten, Finanzinformationen oder vertraulichen Beschäftigtendaten der Fall sein. Unternehmen sollten daher nicht erst im Ernstfall überlegen, wer Vorfälle bewertet, dokumentiert und meldet. Ein Incident-Response-Prozess ist auch für KI-Nutzung sinnvoll.

Löschpflichten ergeben sich aus der DSGVO, aus Verträgen und aus internen Aufbewahrungskonzepten. Chatverläufe, exportierte Prompts, Ausgaben, Screenshots oder in KI-Workflows erzeugte Dateien sollten nicht unbegrenzt gespeichert werden. Zugleich kann im Streitfall eine Dokumentation erforderlich sein, um nachzuweisen, welche Daten verarbeitet wurden und welche Maßnahmen ergriffen wurden. Zwischen Löschung und Beweissicherung muss daher sorgfältig abgewogen werden.

Im Urheber- und Wettbewerbsrecht sind Fristen vor allem bei Abmahnungen relevant. Wer eine Abmahnung wegen eines KI-generierten Textes, eines Bildes oder einer irreführenden Aussage erhält, sollte gesetzte Fristen ernst nehmen, aber nicht vorschnell ungeprüfte Unterlassungserklärungen abgeben. Eine Unterlassungserklärung kann langfristige Bindungswirkung haben und Vertragsstrafen auslösen. Häufig ist eine modifizierte Erklärung oder eine andere Reaktion zu prüfen.

Verjährungsfragen sind einzelfallabhängig. Viele zivilrechtliche Ansprüche verjähren regelmäßig innerhalb von drei Jahren ab Schluss des Jahres, in dem der Anspruch entstanden ist und Kenntnis oder grob fahrlässige Unkenntnis vorliegt. Es gibt jedoch Sonderregeln, Hemmungstatbestände und abweichende Fristen, etwa bei vertraglichen Ansprüchen, arbeitsrechtlichen Ausschlussfristen oder spezialgesetzlichen Regelungen. Gerade Arbeitsverträge und Dienstleistungsverträge enthalten oft kurze Ausschlussfristen, die Ansprüche deutlich schneller entfallen lassen können.

Beweise und Dokumentation: Was sollte festgehalten werden?

Bei KI-Nutzung ist Beweisführung anspruchsvoll, weil Prompts, Einstellungen, Modellversionen, Ausgaben und Bearbeitungsschritte flüchtig sein können. Wer später nachweisen muss, dass keine personenbezogenen Daten eingegeben wurden, dass eine Ausgabe geprüft wurde oder dass eine Rechtsverletzung unverzüglich entfernt wurde, benötigt belastbare Dokumentation. Umgekehrt kann eine unbedachte Speicherung sensibler Prompts selbst wieder Datenschutzprobleme schaffen. Dokumentation muss daher zweckbezogen, sparsam und geschützt erfolgen.

Wichtig ist zunächst die Trennung zwischen Arbeitsdokumentation und sensiblen Inhalten. Es muss nicht in jedem Fall der vollständige Prompt dauerhaft gespeichert werden. In risikorelevanten Anwendungen kann aber erforderlich sein, zumindest Zweck, Tool, Nutzergruppe, Datenkategorie, Freigabe, Prüfschritt und Ergebnisstand festzuhalten. Bei veröffentlichten Inhalten sollte dokumentiert werden, wer die Endfassung fachlich geprüft und freigegeben hat.

Folgende Nachweise sind in der Praxis häufig relevant:

• verwendetes KI-Tool, Version oder Produktvariante sowie relevante Datenschutzeinstellungen,
• Zweck der Nutzung und betroffene Datenkategorien, insbesondere ob personenbezogene oder vertrauliche Daten betroffen waren,
• Prompt- oder Eingabeprotokoll, soweit rechtlich zulässig und für den Nachweis erforderlich,
• KI-Ausgabe und menschliche Bearbeitungsschritte bis zur finalen Version,
• Freigaben durch Datenschutz, IT, Rechtsabteilung oder zuständige Führungskräfte,
• Quellen-, Lizenz- und Rechteprüfung bei Texten, Bildern, Code oder Datenbanken,
• Prüfvermerke zu Richtigkeit, Vollständigkeit und fachlicher Plausibilität,
• Lösch-, Sperr- oder Korrekturmaßnahmen bei Fehlern oder Beschwerden.

Bei einem Datenschutzvorfall sollte zudem festgehalten werden, wann der Vorfall erkannt wurde, welche Daten betroffen waren, welche Risiken bestehen, welche Sofortmaßnahmen ergriffen wurden und ob eine Meldung an die Aufsichtsbehörde oder Information betroffener Personen erforderlich war. Diese Dokumentation sollte nicht rein formal erfolgen, sondern die tatsächliche Bewertung nachvollziehbar machen.

Für Privatpersonen gilt eine einfachere, aber ähnliche Logik. Wer befürchtet, dass eine KI-Ausgabe rechtsverletzend verwendet wurde, sollte Screenshots mit Datum, URL, Chatverlauf, Veröffentlichungsort und Kommunikation sichern. Wer selbst versehentlich problematische Daten eingegeben hat, sollte prüfen, ob Löschung, Änderung von Passwörtern, Information Betroffener oder Kontakt zum Anbieter erforderlich ist. Entscheidend ist, frühzeitig Beweise zu sichern, ohne weitere Verbreitung zu verursachen.

Handlungsschritte: Wie lässt sich ChatGPT rechtssicherer nutzen?

Ein rechtssicherer Umgang mit ChatGPT beginnt nicht erst bei komplexen KI-Projekten. Schon einfache Regeln für Prompts, Freigaben und Prüfungen reduzieren Risiken deutlich. Ziel ist nicht, jede Nutzung zu verhindern, sondern zulässige und sinnvolle Anwendungen von unzulässigen oder kontrollbedürftigen Fällen zu trennen. Je stärker KI in Geschäftsprozesse eingebunden wird, desto formalisierter sollte das Vorgehen sein.

Die folgenden Schritte eignen sich als praxisnahe Checkliste. Sie müssen an Branche, Unternehmensgröße, Datenarten und Einsatzbereiche angepasst werden:

• Nutzungszweck festlegen: Klären Sie, ob ChatGPT nur zur Ideenfindung, zur Textvorbereitung, zur Analyse, zur Entscheidungsvorbereitung oder zur automatisierten Verarbeitung eingesetzt werden soll.
• Datenkategorien prüfen: Stellen Sie vor jeder Nutzung fest, ob personenbezogene Daten, besondere Kategorien personenbezogener Daten, Geschäftsgeheimnisse oder fremde Schutzrechte betroffen sind.
• Prompts minimieren: Geben Sie nur Informationen ein, die für den Zweck erforderlich sind. Namen, Kundennummern, Aktenzeichen und Detaildaten sollten entfernt oder belastbar anonymisiert werden.
• Rechtsgrundlage und Vertrag prüfen: Bei Unternehmensnutzung sollten Datenschutzvertrag, Nutzungsbedingungen, Speicherorte, Trainingsnutzung und Löschoptionen geprüft und dokumentiert werden.
• Fristen bei Vorfällen beachten: Wenn personenbezogene Daten versehentlich eingegeben oder offengelegt wurden, sollte unverzüglich geprüft werden, ob eine 72-Stunden-Meldung nach DSGVO in Betracht kommt.
• Dokumentationspflichten festlegen: Halten Sie bei risikorelevanten Nutzungen Tool, Zweck, Datenkategorien, Freigabe, Ergebnisprüfung und Löschentscheidung nachvollziehbar fest.
• Fachliche Endkontrolle sichern: KI-Ausgaben sollten vor externer Verwendung von einer fachkundigen Person geprüft werden, insbesondere bei Recht, Steuern, Medizin, Finanzen, Technik und Personal.
• Rechte Dritter prüfen: Vor Veröffentlichung von Texten, Bildern, Code oder Produktbeschreibungen sollten Quellen, Lizenzen, Markenrechte und mögliche Plagiate kontrolliert werden.
• Transparenz herstellen: Prüfen Sie, ob KI-Nutzung gegenüber Kunden, Beschäftigten, Nutzern, Prüfern oder Vertragspartnern offengelegt werden muss oder erwartet wird.
• Interne Richtlinie erstellen: Regeln Sie erlaubte Tools, verbotene Eingaben, Freigaben, Schulungen, Verantwortlichkeiten, Kontrollstufen und Folgen bei Verstößen.
• Lösch- und Aufbewahrungskonzept anwenden: Chatverläufe, Exporte und KI-Ergebnisse sollten nicht länger gespeichert werden, als für Zweck, Nachweis oder gesetzliche Pflichten erforderlich ist.
• Regelmäßig überprüfen: KI-Produkte, Vertragsbedingungen und gesetzliche Vorgaben ändern sich. Richtlinien und Freigaben sollten daher in angemessenen Abständen aktualisiert werden.

Für kleinere Unternehmen oder Selbstständige kann eine schlanke Lösung ausreichen: keine personenbezogenen Daten in öffentliche Tools, keine vertraulichen Kundenunterlagen, keine ungeprüften Fachauskünfte, keine Veröffentlichung ohne Rechte- und Faktencheck. Für größere Organisationen ist meist ein abgestuftes Governance-Modell sinnvoll, das Datenschutz, IT-Sicherheit, Compliance, Fachbereiche und Geschäftsleitung einbindet.

Wichtig ist auch die Schulung der Nutzer. Viele Verstöße entstehen nicht aus Absicht, sondern aus Unkenntnis. Beschäftigte sollten konkrete Beispiele erhalten: Welche Prompts sind erlaubt, welche müssen anonymisiert werden, welche sind verboten, und an wen können sie sich bei Zweifeln wenden? Eine abstrakte KI-Policy ohne Praxisbezug wird im Arbeitsalltag häufig nicht beachtet.

Was darf ChatGPT nicht in sensiblen Entscheidungen übernehmen?

Ein besonderer Grenzbereich betrifft Entscheidungen mit erheblichen Auswirkungen auf Menschen. Dazu gehören Bewerberauswahl, Leistungsbewertung, Kreditwürdigkeit, Versicherungsprüfung, Wohnungsvergabe, schulische Bewertung, medizinische Ersteinschätzung oder behördliche Risikoanalyse. ChatGPT darf in solchen Bereichen nicht unkontrolliert als Entscheidungsinstanz eingesetzt werden. Je nach Ausgestaltung können Datenschutzrecht, Antidiskriminierungsrecht, Arbeitsrecht, Verbraucherschutz und KI-Regulierung eingreifen.

Die DSGVO enthält besondere Anforderungen an automatisierte Entscheidungen im Einzelfall, wenn diese rechtliche Wirkung entfalten oder betroffene Personen in ähnlicher Weise erheblich beeinträchtigen. Nicht jede KI-Unterstützung fällt automatisch darunter. Wenn ein Mensch die Entscheidung ernsthaft prüft und eigenständig verantwortet, kann die Lage anders zu beurteilen sein. Eine rein formale menschliche Bestätigung genügt jedoch nicht, wenn die KI-Empfehlung faktisch ungeprüft übernommen wird.

Diskriminierungsrisiken entstehen, wenn Trainingsdaten, Eingaben oder Bewertungskriterien benachteiligende Muster enthalten. Ein KI-System kann scheinbar neutrale Kriterien verwenden, die mittelbar an Geschlecht, Alter, Herkunft, Behinderung oder andere geschützte Merkmale anknüpfen. In Bewerbungsverfahren kann etwa die Bewertung von Lebensläufen, Sprachmustern oder Lücken im Erwerbsverlauf zu Benachteiligungen führen. Auch hier gilt: KI kann unterstützen, darf aber die rechtliche Verantwortung nicht ersetzen.

In der Beratungspraxis ist außerdem zwischen Informationsentwurf und verbindlicher Empfehlung zu unterscheiden. ChatGPT kann eine Liste möglicher Prüfungspunkte erstellen. Es sollte aber nicht allein entscheiden, ob eine Kündigung ausgesprochen, ein Kredit verweigert, ein Versicherungsfall abgelehnt oder eine medizinische Behandlung empfohlen wird. Solche Entscheidungen benötigen fachliche Prüfung, nachvollziehbare Kriterien, Dokumentation und gegebenenfalls Beteiligung betroffener Personen.

Unternehmen sollten sensible KI-Anwendungen vorab klassifizieren. Je höher die Auswirkungen auf Betroffene, desto stärker müssen Transparenz, Genauigkeit, menschliche Kontrolle, Beschwerdemöglichkeiten und Dokumentation ausgestaltet sein. Bei Hochrisiko-Anwendungen können zusätzliche Anforderungen entstehen. Für viele Organisationen ist es sinnvoll, zunächst weniger sensible Einsatzbereiche zu erlauben und kritische Entscheidungen gesondert freizugeben.

FAQ: Häufige Fragen zu den Grenzen von ChatGPT

Fazit: Was darf ChatGPT nicht und worauf kommt es jetzt an?

Die Frage „was darf ChatGPT nicht?“ lässt sich am zuverlässigsten über die betroffenen Daten, Rechte und Zwecke beantworten. Kritisch sind vor allem personenbezogene Daten, sensible Informationen, Geschäftsgeheimnisse, urheberrechtlich geschützte Inhalte, ungeprüfte Fachauskünfte und KI-Einsatz in Entscheidungen mit erheblichen Folgen für Menschen.

Priorität haben klare Nutzungsregeln, Datensparsamkeit, Anonymisierung, Rechteprüfung, fachliche Endkontrolle und nachvollziehbare Dokumentation. Bei bereits erfolgten Fehlverwendungen sollten mögliche Lösch-, Melde-, Informations- und Sicherungspflichten zeitnah geprüft werden. Unternehmen profitieren von einer verständlichen KI-Richtlinie und geschulten Beschäftigten.

Gleichzeitig bleibt jede Bewertung einzelfallabhängig. Ein allgemeiner Prompt ohne vertrauliche Daten ist anders zu beurteilen als eine Personalakte, ein Mandatsdokument oder ein medizinischer Befund. Wer ChatGPT produktiv einsetzen möchte, sollte daher nicht nur technische Möglichkeiten betrachten, sondern den rechtlichen Rahmen von Beginn an mitplanen.