Algorithmusprüfung: rechtliche Anforderungen und Praxis

Die Algorithmusprüfung gewinnt für Unternehmen, Behörden und betroffene Personen erheblich an Bedeutung. Automatisierte Systeme entscheiden oder unterstützen Entscheidungen über Kredite, Bewerbungen, Preise, Versicherungen, Betrugserkennung, Plattforminhalte oder medizinische Priorisierungen. Rechtlich problematisch wird es, wenn nicht mehr nachvollziehbar ist, welche Daten verwendet werden, welche Kriterien das System gewichtet und welche Auswirkungen die automatisierte Bewertung für Menschen oder Unternehmen hat.

Eine Algorithmusprüfung ist deshalb nicht nur eine technische Qualitätskontrolle. Sie verbindet Datenschutzrecht, IT-Recht, Haftungsfragen, Antidiskriminierungsrecht, Vertragsrecht und zunehmend Vorgaben aus der europäischen KI-Regulierung. Grundsätzlich kann eine Prüfung helfen, Risiken früh zu erkennen, Dokumentationspflichten zu erfüllen und Streitfälle belastbarer zu beurteilen. Sie ersetzt jedoch keine rechtliche Einzelfallprüfung, weil Zweck, Datenbasis, Einsatzkontext und Betroffenengruppen entscheidend sind.

Der Beitrag erläutert, wann eine Algorithmusprüfung rechtlich relevant wird, welche gesetzlichen Grundlagen zu beachten sind, wie sie von ähnlichen Prüfungen abzugrenzen ist und welche Schritte in der Praxis sinnvoll sind.

Inhaltsverzeichnis

1. Was bedeutet Algorithmusprüfung rechtlich?
2. Gesetzliche Grundlagen: Datenschutz, KI-Verordnung und weitere Rechtsgebiete
3. Abgrenzung: Algorithmusprüfung, KI-Audit, Datenschutz-Folgenabschätzung und Code Review
4. Wann ist eine Algorithmusprüfung besonders relevant?
5. Praxisrelevante Fallkonstellationen und typische Streitpunkte
6. Risiken, Haftung und typische Fehler bei algorithmischen Entscheidungen
7. Fristen, Verjährung und regulatorische Zeitpunkte
8. Beweisfragen und Dokumentation: Was muss nachvollziehbar sein?
9. Algorithmusprüfung im Unternehmen: Governance, Rollen und Verträge
10. Rechte betroffener Personen bei automatisierten Entscheidungen
11. Handlungsschritte: So bereiten Unternehmen eine Algorithmusprüfung vor
12. Besonderheiten bei Outsourcing, Cloud-KI und Drittanbietersystemen
13. … und 2 weitere Abschnitte

Was bedeutet Algorithmusprüfung rechtlich?

Unter einer Algorithmusprüfung versteht man die strukturierte Überprüfung eines automatisierten Entscheidungs- oder Empfehlungssystems. Geprüft werden insbesondere die Datenbasis, die Funktionslogik, die Einbindung in betriebliche Prozesse, die Auswirkungen auf Betroffene und die Einhaltung rechtlicher Anforderungen. Der Begriff ist nicht in einem einzigen Gesetz abschließend definiert. Er wird in der Praxis als Sammelbegriff für technische, organisatorische und rechtliche Prüfhandlungen verwendet.

Rechtlich relevant ist eine Algorithmusprüfung vor allem dann, wenn ein System personenbezogene Daten verarbeitet, rechtlich erhebliche Folgen auslöst oder Menschen in vergleichbarer Weise erheblich beeinträchtigt. Das kann etwa bei Kreditentscheidungen, automatisierten Bewerberrankings, Scoringverfahren, Versicherungsbewertungen, Betrugserkennung oder behördlichen Risikoprofilen der Fall sein. Auch Systeme, die formal nur Empfehlungen ausgeben, können rechtlich bedeutsam sein, wenn die Empfehlung in der Praxis regelmäßig übernommen wird.

Der Prüfungsgegenstand hängt stark vom Einsatzkontext ab. Bei einem einfachen Sortieralgorithmus in einem Online-Shop stellen sich andere Fragen als bei einem KI-gestützten System zur Personalauswahl. Bei personenbezogenen Daten steht die Datenschutz-Grundverordnung im Vordergrund. Bei Hochrisiko-KI-Systemen kommen Anforderungen aus der europäischen KI-Verordnung hinzu. Bei diskriminierenden Ergebnissen können das Allgemeine Gleichbehandlungsgesetz, arbeitsrechtliche Schutzpflichten oder zivilrechtliche Haftungsnormen eine Rolle spielen.

Eine rechtlich tragfähige Algorithmusprüfung fragt daher nicht nur, ob das System technisch funktioniert. Sie prüft, ob der Zweck zulässig ist, ob die verwendeten Daten rechtmäßig erhoben wurden, ob die Ergebnisse erklärbar und überprüfbar sind, ob menschliche Kontrolle vorgesehen ist und ob betroffene Personen ihre Rechte wahrnehmen können. Je stärker ein System in Rechte, Chancen oder wirtschaftliche Interessen eingreift, desto höher sind regelmäßig die Anforderungen an Dokumentation, Transparenz und Kontrolle.

Gesetzliche Grundlagen: Datenschutz, KI-Verordnung und weitere Rechtsgebiete

Die wichtigste Grundlage für viele Algorithmusprüfungen ist die Datenschutz-Grundverordnung. Sie gilt, sobald personenbezogene Daten verarbeitet werden. Das umfasst nicht nur Namen und Kontaktdaten, sondern auch Kundennummern, Standortdaten, Nutzungsprofile, Bewerbungsdaten, Bonitätsinformationen oder pseudonymisierte Datensätze, sofern ein Personenbezug noch herstellbar ist. Zentral sind die Grundsätze aus Art. 5 DSGVO: Rechtmäßigkeit, Transparenz, Zweckbindung, Datenminimierung, Richtigkeit, Speicherbegrenzung, Integrität und Vertraulichkeit.

Besonders bedeutsam ist Art. 22 DSGVO. Danach haben betroffene Personen grundsätzlich das Recht, nicht einer ausschließlich auf automatisierter Verarbeitung beruhenden Entscheidung unterworfen zu werden, wenn diese rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt. Ausnahmen sind möglich, etwa bei vertraglicher Erforderlichkeit, gesetzlicher Grundlage oder ausdrücklicher Einwilligung. Allerdings gelten dann zusätzliche Schutzmaßnahmen, insbesondere die Möglichkeit menschlichen Eingreifens, die Darlegung des eigenen Standpunkts und die Anfechtung der Entscheidung.

Hinzu kommen Informationspflichten aus Art. 13 und 14 DSGVO sowie Auskunftsrechte nach Art. 15 DSGVO. Bei automatisierten Entscheidungen müssen Verantwortliche aussagekräftige Informationen über die involvierte Logik sowie die Tragweite und angestrebten Auswirkungen bereitstellen. Das bedeutet nicht zwingend die Offenlegung des gesamten Quellcodes. Erforderlich ist aber eine verständliche Erklärung, die Betroffene in die Lage versetzt, die Entscheidung einzuordnen und gegebenenfalls anzufechten.

Die europäische KI-Verordnung ergänzt diesen Rahmen. Sie verfolgt einen risikobasierten Ansatz. Bestimmte Praktiken sind verboten, Hochrisiko-KI-Systeme unterliegen besonderen Anforderungen an Risikomanagement, Datenqualität, technische Dokumentation, Aufzeichnungspflichten, Transparenz, menschliche Aufsicht, Genauigkeit, Robustheit und Cybersicherheit. Für Anbieter und Betreiber ergeben sich unterschiedliche Pflichten. Die konkrete Einordnung hängt davon ab, ob das System in einen geregelten Hochrisikobereich fällt, etwa Beschäftigung, Bildung, kritische Infrastruktur, Kreditwürdigkeitsprüfung oder bestimmte behördliche Anwendungen.

Neben Datenschutz und KI-Regulierung können weitere Rechtsgebiete relevant werden. Im Arbeitsrecht geht es um Mitbestimmungsrechte, Persönlichkeitsrechte und Diskriminierungsverbote. Im Verbraucherrecht stehen Transparenz, Irreführung und Vertragsgestaltung im Fokus. Im Wettbewerbsrecht können intransparente Ranking- oder Preismechanismen problematisch sein. Im öffentlichen Sektor sind zusätzlich Verwaltungsverfahrensrecht, Gleichbehandlungsgrundsatz, Begründungspflichten und Akteneinsichtsrechte zu beachten. Eine Algorithmusprüfung sollte deshalb rechtlich nicht zu eng angelegt werden.

Abgrenzung: Algorithmusprüfung, KI-Audit, Datenschutz-Folgenabschätzung und Code Review

In der Praxis werden mehrere Begriffe nebeneinander verwendet. Das führt häufig zu Missverständnissen, weil technische Prüfungen, Datenschutzprüfungen und rechtliche Bewertungen unterschiedliche Ziele haben. Eine Algorithmusprüfung kann diese Elemente verbinden, ist aber nicht mit jedem Einzelelement identisch. Entscheidend ist, welche Fragestellung beantwortet werden soll: Geht es um Fehler im Code, um Datenschutzrisiken, um Diskriminierung, um regulatorische Konformität oder um Haftungsvermeidung?

Ein Code Review untersucht vor allem die technische Qualität von Programmcode. Dabei können Sicherheitsmängel, Logikfehler oder Wartbarkeitsprobleme erkannt werden. Für sich genommen beantwortet ein Code Review aber nicht, ob die Datenverarbeitung rechtmäßig ist oder ob Betroffene ausreichend informiert wurden. Umgekehrt kann eine rechtliche Prüfung ohne technische Einblicke zu oberflächlich bleiben, wenn die tatsächliche Funktionsweise des Systems nicht verstanden wird.

Die folgende Gegenüberstellung zeigt typische Unterschiede. Sie ist nicht abschließend, weil Prüfungsformate in Projekten häufig kombiniert werden. Gerade bei komplexen KI-Systemen kann eine belastbare Bewertung nur gelingen, wenn technische Dokumentation, juristische Einordnung und organisatorische Abläufe zusammen betrachtet werden.

Eine Datenschutz-Folgenabschätzung ist gesetzlich besonders greifbar, weil Art. 35 DSGVO sie bei voraussichtlich hohem Risiko verlangt. Sie kann Bestandteil einer Algorithmusprüfung sein, wenn personenbezogene Daten verarbeitet werden und etwa Profiling, umfangreiche Bewertung persönlicher Aspekte oder sensible Daten betroffen sind. Sie ersetzt jedoch nicht zwingend eine Prüfung nach KI-Verordnung, eine arbeitsrechtliche Bewertung oder eine Analyse möglicher Diskriminierung.

Ein KI-Audit kann weiter gehen als eine klassische Algorithmusprüfung, wenn es beispielsweise Modellarchitektur, Trainingsverfahren, Monitoring, Drift-Erkennung und technische Robustheit einbezieht. Zugleich kann ein KI-Audit zu technisch bleiben, wenn Rechtsgrundlagen, Betroffenenrechte, Vertragsketten oder Mitbestimmungsfragen nicht geprüft werden. Für Unternehmen ist daher nicht der Begriff entscheidend, sondern der Prüfplan: Er sollte klar festlegen, welche Systeme, Daten, Rechtsfragen, Rollen und Nachweise erfasst werden.

Wann ist eine Algorithmusprüfung besonders relevant?

Eine Algorithmusprüfung ist nicht bei jeder automatisierten Funktion im gleichen Umfang erforderlich. Ein Suchfilter in einer internen Wissensdatenbank wirft regelmäßig geringere Risiken auf als ein System, das Bewerber aussortiert oder Kreditrahmen berechnet. Grundsätzlich steigt der Prüfungsbedarf mit der Intensität des Eingriffs, der Anzahl der Betroffenen, der Intransparenz des Systems und der Sensibilität der verarbeiteten Daten.

Besondere Aufmerksamkeit verdienen Systeme, die Entscheidungen vorbereiten, welche für Betroffene wirtschaftlich oder persönlich spürbare Folgen haben. Bei Kredit- und Bonitätsprüfungen kann eine fehlerhafte Bewertung dazu führen, dass ein Darlehen abgelehnt oder nur zu schlechteren Konditionen angeboten wird. Bei Bewerbungsalgorithmen können Menschen ohne nachvollziehbare Begründung vom Auswahlverfahren ausgeschlossen werden. Bei Versicherungen können Risikozuschläge, Vertragsablehnungen oder Leistungsprüfungen betroffen sein.

Auch Empfehlungs- und Rankingalgorithmen können rechtlich relevant sein. Plattformen, Marktplätze und Suchfunktionen beeinflussen, welche Angebote sichtbar werden und welche Anbieter Reichweite erhalten. Für Nutzer kann wichtig sein, ob Suchergebnisse neutral sortiert sind oder ob bezahlte Platzierungen, Nutzungsprofile oder wirtschaftliche Interessen eine Rolle spielen. Für Anbieter kann eine Änderung des Rankings erhebliche Umsatzfolgen haben. Ob daraus Ansprüche entstehen, hängt allerdings vom Vertrag, den Plattformbedingungen, Transparenzpflichten und dem konkreten Verhalten des Plattformbetreibers ab.

Im Beschäftigungskontext sind die Anforderungen besonders sensibel. Arbeitgeber dürfen technische Systeme zur Unterstützung von Personalentscheidungen nicht losgelöst von Datenschutz, Gleichbehandlung, Mitbestimmung und Persönlichkeitsrechten einsetzen. Schon die Einführung eines Systems, das Verhalten oder Leistung überwachen kann, kann Mitbestimmungsrechte des Betriebsrats auslösen. Werden automatisierte Bewertungen verwendet, müssen Zweck, Datenkategorien, Zugriffsbefugnisse, Löschfristen und Kontrollmechanismen sorgfältig geprüft werden.

Im öffentlichen Sektor kommt hinzu, dass staatliche Entscheidungen besonderen Anforderungen an Gesetzmäßigkeit, Begründbarkeit und Gleichbehandlung unterliegen. Ein Algorithmus darf eine Behörde grundsätzlich nicht von ihrer Verantwortung entbinden. Wenn ein System Risikohinweise generiert, Förderanträge vorsortiert oder Kontrollen priorisiert, muss nachvollziehbar bleiben, wie die Behörde zu ihrer Entscheidung gelangt ist. Betroffene müssen in geeigneter Weise Rechtsschutz wahrnehmen können.

Praxisrelevante Fallkonstellationen und typische Streitpunkte

Streit über algorithmische Systeme entsteht häufig nicht in abstrakten Grundsatzfragen, sondern in konkreten Situationen: Ein Antrag wird abgelehnt, ein Konto gesperrt, ein Bewerber nicht eingeladen, ein Versicherungsfall intensiver geprüft oder ein Händler verliert Sichtbarkeit auf einer Plattform. Betroffene erleben die Entscheidung oft als nicht nachvollziehbar. Unternehmen wiederum müssen erklären können, ob das Ergebnis auf zulässigen Kriterien beruht und ob menschliche Kontrolle möglich war.

Ein Beispiel ist die automatisierte Bonitätsbewertung. Kreditgeber und Dienstleister nutzen Scoringmodelle, um Ausfallwahrscheinlichkeiten zu schätzen. Rechtlich ist nicht jede Score-Nutzung unzulässig. Entscheidend sind unter anderem Rechtsgrundlage, Datenqualität, Transparenz, Verhältnismäßigkeit und die Frage, ob eine ausschließlich automatisierte Entscheidung vorliegt. Fehlerhafte oder veraltete Daten können zu Ansprüchen auf Berichtigung, Löschung oder Neubewertung führen. Ob zusätzlich Schadensersatz in Betracht kommt, hängt vom nachweisbaren Schaden und der Verantwortlichkeit ab.

Ein weiteres Beispiel betrifft Bewerbungsverfahren. Software kann Lebensläufe vorsortieren, Qualifikationen gewichten oder Videoaufnahmen analysieren. Dabei besteht das Risiko mittelbarer Diskriminierung, wenn Merkmale wie Geschlecht, Alter, Herkunft oder Behinderung nicht direkt verwendet werden, aber Ersatzmerkmale eine ähnliche Wirkung entfalten. Ein scheinbar neutrales Kriterium kann problematisch sein, wenn es bestimmte Gruppen strukturell benachteiligt und sachlich nicht gerechtfertigt ist. Für Arbeitgeber ist deshalb eine Vorabprüfung der Kriterien und Ergebnisse wesentlich.

Bei Online-Plattformen entstehen Konflikte durch Sperrungen, De-Ranking oder automatisierte Moderation. Nutzer können Inhalte verlieren, Händler Umsätze einbüßen und Dienstleister Sichtbarkeit verlieren. Plattformbetreiber dürfen ihre Systeme grundsätzlich gestalten, müssen aber vertragliche Bindungen, Transparenzpflichten, mögliche regulatorische Vorgaben und die Rechte der Betroffenen beachten. Fehlerhafte Sperrentscheidungen können je nach Sachlage Ansprüche auf Wiederherstellung, Unterlassung oder Schadensersatz auslösen. Die Beweisführung ist jedoch oft schwierig, weil interne Rankinglogiken nicht vollständig offengelegt werden.

Auch dynamische Preisgestaltung kann Gegenstand einer Algorithmusprüfung sein. Preise dürfen grundsätzlich nach Nachfrage, Verfügbarkeit oder Kundenverhalten variieren. Grenzen können sich aber aus Verbraucherschutz, Diskriminierungsverboten, Wettbewerbsrecht und Transparenzpflichten ergeben. Problematisch wird es etwa, wenn sensible Merkmale indirekt berücksichtigt werden oder Verbraucher über personalisierte Preisbildung unzureichend informiert werden. Nicht jede Preisdifferenzierung ist rechtswidrig; entscheidend sind Zweck, Kriterien, Transparenz und Auswirkungen.

In regulierten Branchen wie Medizin, Finanzen, Energie oder Verkehr kommt eine zusätzliche Ebene hinzu. Dort können Fachgesetze, Aufsichtsvorgaben und besondere Sorgfaltspflichten gelten. Ein Diagnosesystem, ein Betrugserkennungstool oder ein Risikomodell muss nicht nur datenschutzrechtlich zulässig sein, sondern auch fachlich validiert, dokumentiert und überwacht werden. Für Verantwortliche ist es wichtig, Zuständigkeiten klar festzulegen: Wer prüft das Modell, wer bewertet rechtliche Risiken, wer gibt das System frei und wer reagiert auf Fehlentscheidungen?

Risiken, Haftung und typische Fehler bei algorithmischen Entscheidungen

Die Risiken einer fehlenden oder unzureichenden Algorithmusprüfung sind vielschichtig. Sie reichen von behördlichen Maßnahmen über Schadensersatzansprüche bis zu Reputationsschäden und internen Kontrollmängeln. Rechtlich besonders relevant sind Datenschutzverstöße, diskriminierende Ergebnisse, unzureichende Transparenz, fehlerhafte Entscheidungen, Sicherheitsmängel und Verstöße gegen branchenspezifische Vorgaben. Nicht jeder Fehler führt automatisch zu einer Haftung. Entscheidend sind Pflichtverletzung, Verschulden oder Verantwortlichkeit, Schaden, Kausalität und die jeweils einschlägige Anspruchsgrundlage.

Datenschutzrechtlich drohen Anordnungen der Aufsichtsbehörden, Bußgelder und Ansprüche betroffener Personen. Wenn ein Unternehmen beispielsweise ein Profilingverfahren ohne tragfähige Rechtsgrundlage einsetzt oder Betroffene nicht ausreichend informiert, kann dies erhebliches Konfliktpotenzial auslösen. Bei Art. 22 DSGVO kommt hinzu, dass automatisierte Entscheidungen mit erheblicher Wirkung nur unter bestimmten Voraussetzungen zulässig sind. Fehlen menschliche Überprüfungsmöglichkeiten, kann eine Entscheidung angreifbar sein.

Haftungsfragen stellen sich auch im Verhältnis zwischen Anbieter und Betreiber eines Systems. Der Anbieter kann für fehlerhafte Software, unzureichende Dokumentation oder vertraglich zugesicherte Eigenschaften verantwortlich sein. Der Betreiber bleibt jedoch regelmäßig für den konkreten Einsatz, die Datenverarbeitung und die organisatorische Einbettung verantwortlich. In Lieferketten sollte daher vertraglich geklärt werden, wer welche Informationen bereitstellt, wer Updates prüft, wer Vorfälle meldet und wer bei Behördenanfragen unterstützt.

Typische Fehler in der Praxis sind:

• Das System wird eingesetzt, ohne Zweck, Rechtsgrundlage und Rollen sauber zu dokumentieren.
• Trainings- oder Eingabedaten enthalten veraltete, fehlerhafte oder einseitige Informationen.
• Eine Datenschutz-Folgenabschätzung wird unterlassen, obwohl ein hohes Risiko naheliegt.
• Betroffene erhalten nur formelhafte Hinweise, aber keine verständlichen Informationen über Logik und Auswirkungen.
• Der menschliche Kontrollprozess besteht nur auf dem Papier und wird tatsächlich nicht genutzt.
• Diskriminierungsrisiken werden erst nach Beschwerden und nicht schon vor Einführung geprüft.
• Änderungen am Modell werden nicht versioniert, sodass spätere Entscheidungen nicht rekonstruierbar sind.
• Verträge mit Dienstleistern enthalten keine ausreichenden Audit-, Informations- und Unterstützungsrechte.

Besonders kritisch ist die Annahme, technische Genauigkeit genüge für Rechtmäßigkeit. Ein System kann statistisch leistungsfähig sein und dennoch rechtswidrig eingesetzt werden, wenn die Datenverarbeitung unzulässig ist oder Betroffene nicht wirksam geschützt werden. Ebenso kann ein rechtlich zulässiger Zweck problematisch umgesetzt sein, wenn die Datenbasis verzerrt ist oder Kontrollmechanismen fehlen. Eine belastbare Algorithmusprüfung muss deshalb technische Leistungsfähigkeit, rechtliche Zulässigkeit und praktische Nutzung gemeinsam betrachten.

Fristen, Verjährung und regulatorische Zeitpunkte

Bei der Algorithmusprüfung spielen Fristen auf mehreren Ebenen eine Rolle. Zunächst gibt es Fristen, die vor dem Einsatz eines Systems relevant sind. Eine Datenschutz-Folgenabschätzung ist grundsätzlich vor Beginn einer Verarbeitung durchzuführen, wenn diese voraussichtlich ein hohes Risiko für Rechte und Freiheiten natürlicher Personen zur Folge hat. Wird sie erst nach Inbetriebnahme erstellt, kann dies ein Compliance-Defizit darstellen. Auch Informationspflichten müssen grundsätzlich zu Beginn der Datenerhebung oder innerhalb der gesetzlichen Vorgaben erfüllt werden.

Für Auskunftsersuchen nach Art. 15 DSGVO gilt regelmäßig eine Monatsfrist. Verantwortliche müssen innerhalb eines Monats nach Eingang des Antrags reagieren. In komplexen Fällen kann die Frist unter bestimmten Voraussetzungen um zwei weitere Monate verlängert werden, wobei die betroffene Person über die Verlängerung und Gründe zu informieren ist. Wer ein algorithmisches System nutzt, sollte daher in der Lage sein, zeitnah verständliche Informationen über automatisierte Entscheidungsprozesse bereitzustellen.

Bei Datenschutzverletzungen gilt die bekannte 72-Stunden-Frist für Meldungen an die Aufsichtsbehörde, sofern die Verletzung voraussichtlich ein Risiko für Rechte und Freiheiten natürlicher Personen mit sich bringt. Algorithmische Systeme können hiervon betroffen sein, wenn Daten unbefugt offengelegt werden, Modelle sensible Informationen preisgeben oder Manipulationen zu fehlerhaften Entscheidungen führen. Ob zusätzlich Betroffene benachrichtigt werden müssen, hängt vom Risiko ab.

Die KI-Verordnung enthält gestaffelte Anwendungszeitpunkte. Bestimmte Verbote und Pflichten greifen früher als die vollständigen Anforderungen an Hochrisiko-KI-Systeme. Seit 2026 sind mehrere Pflichten bereits praktisch relevant; für bestimmte Hochrisikosysteme und bereits bestehende Systeme können Übergangsregelungen und spätere Stichtage gelten. Unternehmen sollten nicht nur auf den letztmöglichen Zeitpunkt abstellen, weil Risikomanagement, technische Dokumentation, Vertragsänderungen und Schulungen Vorlauf benötigen.

Für Ansprüche betroffener Personen können unterschiedliche Verjährungs- und Ausschlussfristen gelten. Datenschutzrechtliche Schadensersatzansprüche unterliegen regelmäßig den allgemeinen zivilrechtlichen Verjährungsregeln, häufig also der dreijährigen Regelverjährung ab Jahresende nach Kenntnis von Anspruch und Schuldner. Im Arbeitsrecht können tarifliche oder vertragliche Ausschlussfristen erheblich kürzer sein. Ansprüche nach dem Allgemeinen Gleichbehandlungsgesetz müssen grundsätzlich innerhalb von zwei Monaten schriftlich geltend gemacht werden. Im Verwaltungsrecht können Widerspruchs- oder Klagefristen deutlich kürzer sein, häufig ein Monat nach Bekanntgabe eines Bescheids.

Für Betroffene bedeutet dies: Wer eine algorithmische Entscheidung anfechten oder Auskunft verlangen möchte, sollte Unterlagen zeitnah sichern und Fristen prüfen. Für Unternehmen bedeutet es: Prüfungen sollten nicht erst bei Beschwerden beginnen. Sinnvoll sind feste Review-Zyklen, etwa bei Einführung, wesentlichen Modelländerungen, neuen Datenquellen, geänderten Zwecken, auffälligen Fehlerraten oder regulatorischen Änderungen.

Beweisfragen und Dokumentation: Was muss nachvollziehbar sein?

Beweisfragen sind bei algorithmischen Entscheidungen häufig anspruchsvoll. Betroffene sehen meist nur das Ergebnis, nicht aber Datenquellen, Gewichtungen oder interne Kontrollschritte. Unternehmen verfügen über Systeminformationen, möchten aber Geschäftsgeheimnisse, Sicherheitsinteressen und Rechte Dritter schützen. Rechtlich muss daher ein Ausgleich gefunden werden zwischen Transparenz, Verteidigungsrechten, Datenschutz und Geheimnisschutz.

Für Verantwortliche ist eine saubere Dokumentation ein zentraler Schutzfaktor. Sie kann belegen, dass Risiken erkannt, Maßnahmen getroffen, Entscheidungen überprüft und gesetzliche Anforderungen berücksichtigt wurden. Fehlt eine Dokumentation, lässt sich später oft nicht mehr rekonstruieren, welche Modellversion verwendet wurde, welche Daten eingeflossen sind oder ob ein Mensch die Entscheidung tatsächlich geprüft hat. Gerade bei lernenden Systemen ist Versionierung wichtig, weil sich Ergebnisse im Zeitablauf verändern können.

Betroffene sollten frühzeitig Unterlagen sichern, wenn sie eine automatisierte Entscheidung für fehlerhaft halten. Dazu gehören nicht nur Bescheide oder Ablehnungsschreiben, sondern auch Screenshots, Zeitpunkte, Kommunikationsverläufe und Auskünfte. Bei Online-Plattformen können Sichtbarkeitsverluste oder Sperrungen schnell schwer nachweisbar werden, wenn Daten überschrieben werden. Im Arbeits- oder Bewerbungsverfahren sollten Stellenausschreibung, Bewerbungsunterlagen, Absagen und Hinweise auf eingesetzte Tools aufbewahrt werden.

Wichtige Nachweise und Dokumente können sein:

• Beschreibung des Zwecks und der Einsatzentscheidung für das algorithmische System
• Verzeichnis der Verarbeitungstätigkeiten und Datenschutz-Folgenabschätzung
• Informationen an Betroffene, Einwilligungstexte und Datenschutzhinweise
• Technische Dokumentation, Modellkarten, Datenblätter oder Systembeschreibungen
• Protokolle zu Modellversionen, Änderungen, Updates und Freigaben
• Testergebnisse zu Genauigkeit, Fehlerraten, Bias, Robustheit und Sicherheit
• Nachweise menschlicher Kontrolle, Eskalationsentscheidungen und Beschwerdebearbeitung
• Verträge mit Dienstleistern, Auftragsverarbeitungsverträge und Auditvereinbarungen
• Korrespondenz mit Betroffenen, Behörden oder Vertragspartnern

Die Beweislast hängt von der Anspruchsgrundlage ab. Im Datenschutzrecht muss der Verantwortliche die Einhaltung bestimmter Grundsätze nachweisen können. Bei Diskriminierung kann eine Beweiserleichterung greifen, wenn Indizien eine Benachteiligung vermuten lassen. Bei vertraglichen Ansprüchen kommt es darauf an, welche Pflichten vereinbart wurden und wer welche Pflichtverletzung darlegen muss. Eine Algorithmusprüfung sollte deshalb immer auch die Frage beantworten, welche Dokumente im Streitfall benötigt werden und wie lange sie rechtmäßig aufbewahrt werden dürfen.

Algorithmusprüfung im Unternehmen: Governance, Rollen und Verträge

Für Unternehmen ist die Algorithmusprüfung keine einmalige Formalität, sondern Teil einer angemessenen Governance. Das gilt besonders, wenn mehrere Abteilungen beteiligt sind: Fachbereich, IT, Datenschutz, Recht, Einkauf, Compliance, Informationssicherheit und gegebenenfalls Betriebsrat. Ohne klare Zuständigkeiten entstehen Lücken. Die IT kennt das System, aber nicht alle rechtlichen Anforderungen. Die Rechtsabteilung kennt Pflichten, aber nicht immer die tatsächliche Funktionsweise. Der Fachbereich entscheidet über Einsatz und Schwellenwerte, dokumentiert diese Entscheidungen aber nicht immer ausreichend.

Ein wirksames Prüfkonzept beginnt mit einem Systeminventar. Unternehmen sollten wissen, welche algorithmischen Systeme sie einsetzen, wofür sie verwendet werden, welche Daten verarbeitet werden, ob Anbieter eingebunden sind und ob Entscheidungen gegenüber Menschen oder Unternehmen vorbereitet werden. Besonders wichtig ist die Unterscheidung zwischen internen Effizienztools und Systemen mit Außenwirkung. Ein internes Prognosetool kann rechtlich relevant werden, wenn seine Ergebnisse faktisch über Kunden, Bewerber oder Beschäftigte entscheiden.

Danach sollte eine Risikoklassifizierung erfolgen. Kriterien können sein: Personenbezug, Sensibilität der Daten, Eingriffsintensität, Anzahl Betroffener, Automatisierungsgrad, Fehlerfolgen, Diskriminierungsrisiko, regulatorischer Bereich und Abhängigkeit von Drittanbietern. Die Einstufung sollte dokumentiert und regelmäßig überprüft werden. Bei Hochrisikosystemen sind intensivere Maßnahmen erforderlich als bei niedrigschwelligen Unterstützungsfunktionen.

Verträge mit Anbietern verdienen besondere Aufmerksamkeit. Viele Unternehmen nutzen externe KI- oder Scoringdienste, ohne vollständigen Einblick in Modelllogik und Datenherkunft zu haben. Vertraglich sollten Informationspflichten, Dokumentationszugang, Auditmöglichkeiten, Unterstützungsleistungen bei Betroffenenanfragen, Sicherheitsanforderungen, Unterauftragsverhältnisse, Änderungsmitteilungen und Haftungsregelungen geregelt werden. Bei personenbezogenen Daten ist zudem zu prüfen, ob eine Auftragsverarbeitung, gemeinsame Verantwortlichkeit oder eigenständige Verantwortlichkeit vorliegt. Die falsche Rolleneinordnung kann erhebliche Folgen für Informationspflichten und Haftung haben.

Auch interne Freigabeprozesse sollten eindeutig sein. Ein System sollte nicht allein deshalb produktiv gehen, weil es technisch einsatzbereit ist. Vor der Inbetriebnahme sollten Datenschutz, Informationssicherheit, Fachbereich und rechtliche Bewertung zusammengeführt werden. Bei Beschäftigtendaten ist zu prüfen, ob der Betriebsrat zu beteiligen ist. Nach Inbetriebnahme braucht es Monitoring, Beschwerdewege und Verantwortliche für Abweichungen. Ein Modell, das beim Start unauffällig war, kann durch Datenveränderungen oder veränderte Nutzung später rechtliche Risiken entwickeln.

Rechte betroffener Personen bei automatisierten Entscheidungen

Betroffene Personen sind algorithmischen Entscheidungen nicht schutzlos ausgeliefert. Welche Rechte bestehen, hängt jedoch von der konkreten Situation ab. Datenschutzrechtliche Rechte kommen nur in Betracht, wenn personenbezogene Daten verarbeitet werden. Vertragsrechtliche oder verwaltungsrechtliche Rechte setzen ein entsprechendes Rechtsverhältnis voraus. Diskriminierungsschutz greift nur bei geschützten Merkmalen und einer rechtlich relevanten Benachteiligung. Pauschale Anspruchsaussagen sind deshalb nicht belastbar.

Ein zentraler Ansatzpunkt ist das Auskunftsrecht nach Art. 15 DSGVO. Betroffene können Auskunft darüber verlangen, ob und welche personenbezogenen Daten verarbeitet werden. Bei automatisierten Entscheidungen einschließlich Profiling können sie Informationen über die involvierte Logik sowie Tragweite und Auswirkungen verlangen. Die Antwort muss verständlich sein. Sie muss aber nicht zwingend mathematische Formeln oder vollständigen Quellcode enthalten. Ob die erhaltene Auskunft ausreicht, ist im Einzelfall zu bewerten.

Daneben können Rechte auf Berichtigung, Löschung oder Einschränkung der Verarbeitung relevant werden. Wenn ein Score auf falschen Daten beruht, ist zunächst die Datenrichtigkeit zu klären. Werden Daten ohne tragfähige Rechtsgrundlage verarbeitet, kann Löschung oder Einschränkung in Betracht kommen. Bei berechtigten Interessen kann ein Widerspruch möglich sein, wobei das Unternehmen prüfen muss, ob zwingende schutzwürdige Gründe überwiegen.

Bei ausschließlich automatisierten Entscheidungen mit erheblicher Wirkung kann Art. 22 DSGVO besondere Rechte eröffnen. Betroffene können menschliches Eingreifen verlangen, ihren Standpunkt darlegen und die Entscheidung anfechten. In der Praxis ist wichtig, diesen Anspruch konkret zu formulieren und nicht nur allgemein Unzufriedenheit zu äußern. Sinnvoll ist es, auf die Entscheidung, das Datum, die vermutete automatisierte Verarbeitung und die gewünschten Korrektur- oder Überprüfungsschritte hinzuweisen.

Außerhalb des Datenschutzrechts können weitere Wege bestehen. Im Arbeitsrecht kann eine Benachteiligung nach dem AGG geltend gemacht werden, wenn Indizien für Diskriminierung vorliegen. Gegen Behördenentscheidungen können Widerspruch, Einspruch oder Klage möglich sein. Bei Plattformentscheidungen kommen vertragliche Beschwerdewege, einstweiliger Rechtsschutz oder Ansprüche aus den Plattformbedingungen in Betracht. Welche Option sinnvoll ist, hängt vom Ziel ab: Auskunft, Korrektur, Neubewertung, Unterlassung, Wiederherstellung oder Schadensersatz.

Handlungsschritte: So bereiten Unternehmen eine Algorithmusprüfung vor

Eine gute Algorithmusprüfung beginnt nicht mit der Frage nach einem bestimmten Tool, sondern mit einer klaren Bestandsaufnahme. Unternehmen sollten ermitteln, welche Systeme tatsächlich eingesetzt werden und welche Entscheidungen sie beeinflussen. Dabei sollten auch Schattenprozesse berücksichtigt werden: Excel-Modelle, externe Scoringportale, Marketing-Automation, Recruiting-Plugins oder KI-Funktionen in Standardsoftware können rechtlich relevant sein, auch wenn sie nicht als großes KI-Projekt wahrgenommen werden.

Die folgenden Schritte haben sich als praxisnaher Rahmen bewährt. Sie müssen je nach Branche, Systemtyp und Risiko angepasst werden. Bei Hochrisiko-KI, Beschäftigtendaten, sensiblen Daten oder erheblichen Auswirkungen auf Betroffene sollte die Prüfung vertieft und interdisziplinär dokumentiert werden.

• Systeminventar erstellen: Erfassen Sie alle algorithmischen Systeme, Anbieter, Einsatzorte, Zwecke, Datenkategorien und betroffenen Personengruppen.
• Automatisierungsgrad klären: Dokumentieren Sie, ob das System nur unterstützt, eine Empfehlung ausgibt oder faktisch die Entscheidung bestimmt.
• Rechtsgrundlagen prüfen: Bewerten Sie für jede Datenverarbeitung, ob Vertrag, Einwilligung, gesetzliche Pflicht, berechtigtes Interesse oder eine andere Grundlage trägt.
• Risikoklasse bestimmen: Prüfen Sie Datenschutzrisiken, KI-Verordnungsrelevanz, Diskriminierungsrisiken, Branchenvorgaben und mögliche Schadensfolgen.
• Fristbezug dokumentieren: Führen Sie erforderliche Datenschutz-Folgenabschätzungen vor Inbetriebnahme durch und planen Sie Reaktionen auf Auskunftsersuchen innerhalb der Monatsfrist ein.
• Datenqualität untersuchen: Prüfen Sie Herkunft, Aktualität, Repräsentativität, Fehlerquoten und mögliche Verzerrungen der Trainings- und Eingabedaten.
• Transparenztexte anpassen: Erstellen Sie verständliche Informationen über Zweck, Logik, Tragweite, Auswirkungen und Rechte der Betroffenen.
• Menschliche Kontrolle sichern: Legen Sie fest, wer Entscheidungen überprüft, nach welchen Kriterien Abweichungen möglich sind und wie Beschwerden eskaliert werden.
• Dokumentationspflichten versionieren: Speichern Sie Modellstände, Freigaben, Testberichte, Änderungen und Entscheidungsprotokolle so, dass spätere Entscheidungen rekonstruierbar bleiben.
• Verträge überprüfen: Regeln Sie Audit-, Informations-, Sicherheits-, Unterstützungs- und Haftungspflichten mit Dienstleistern eindeutig.
• Monitoring einrichten: Überwachen Sie Fehlerraten, Beschwerden, Bias-Indikatoren, Datenänderungen und technische Updates regelmäßig.
• Schulungen durchführen: Beschäftigte, die Ergebnisse nutzen, sollten Grenzen des Systems, Eskalationswege und Dokumentationspflichten kennen.

Für Betroffene ist das Vorgehen anders. Sie sollten zunächst klären, ob eine automatisierte Entscheidung vorliegen könnte und welche Rechte eröffnet sind. Hilfreich ist ein sachliches Auskunftsersuchen mit konkretem Bezug auf die Entscheidung. Gleichzeitig sollten Fristen gesichert werden, etwa bei AGG-Ansprüchen, Widerspruchsfristen oder vertraglichen Beschwerdefristen. Wenn wirtschaftliche Nachteile drohen, kann eine schnelle Sicherung von Screenshots, Schreiben und Kommunikationsverläufen entscheidend sein.

Unternehmen sollten die Prüfung nicht als rein defensive Maßnahme verstehen. Ein nachvollziehbares System kann auch intern bessere Entscheidungen ermöglichen, Fehlentwicklungen früher sichtbar machen und Konflikte sachlicher lösen. Die rechtliche Bewertung bleibt dennoch einzelfallabhängig. Ein Prüfbericht sollte deshalb Annahmen, Grenzen und offene Punkte ausdrücklich benennen, statt eine pauschale Unbedenklichkeit zu behaupten.

Besonderheiten bei Outsourcing, Cloud-KI und Drittanbietersystemen

Viele algorithmische Systeme werden nicht vollständig intern entwickelt. Unternehmen nutzen Cloud-Dienste, API-basierte KI-Modelle, Bonitätsdatenbanken, HR-Software, Betrugserkennungstools oder Marketingplattformen. Dadurch verlagern sich technische Funktionen, nicht aber automatisch die rechtliche Verantwortung. Wer ein System für eigene Zwecke einsetzt, bleibt häufig Verantwortlicher im datenschutzrechtlichen Sinne und muss Betroffenenrechte, Informationspflichten und Risikoprüfungen erfüllen können.

Die erste Frage lautet, welche Rolle der Anbieter einnimmt. Bei einer Auftragsverarbeitung verarbeitet der Dienstleister personenbezogene Daten weisungsgebunden für den Kunden. Dann ist ein Vertrag nach Art. 28 DSGVO erforderlich. Bei gemeinsamer Verantwortlichkeit müssen die Beteiligten ihre jeweiligen Pflichten transparent festlegen. Bei eigenständiger Verantwortlichkeit verarbeitet der Anbieter Daten für eigene Zwecke. Die Abgrenzung hängt nicht von der Vertragsüberschrift ab, sondern von der tatsächlichen Entscheidungsbefugnis über Zwecke und Mittel.

Bei KI-Diensten ist diese Abgrenzung oft schwierig. Wird ein Modell nur als technische Infrastruktur bereitgestellt, kann eine Auftragsverarbeitung naheliegen. Nutzt der Anbieter Eingaben jedoch zur Verbesserung eigener Modelle oder kombiniert Daten mit eigenen Datenbeständen, können andere Rollen entstehen. Unternehmen sollten daher prüfen, ob Kundendaten zu Trainingszwecken verwendet werden, wo Daten gespeichert werden, welche Unterauftragnehmer eingebunden sind und ob Drittlandübermittlungen stattfinden.

Vertraglich sind insbesondere Änderungsrechte kritisch. Anbieter aktualisieren Modelle, Schwellenwerte oder Sicherheitsfilter teils regelmäßig. Für den Betreiber kann dies bedeuten, dass ein zuvor geprüfter Prozess plötzlich anders funktioniert. Verträge sollten deshalb Informationspflichten bei wesentlichen Änderungen, Testmöglichkeiten vor Produktivsetzung und Dokumentationszugänge vorsehen. Bei Hochrisikoanwendungen können zusätzliche Anforderungen an technische Dokumentation und Zusammenarbeit bestehen.

Auch Geschäftsgeheimnisse des Anbieters sind zu berücksichtigen. Ein Betreiber kann nicht immer vollständige Offenlegung des Quellcodes verlangen. Gleichwohl muss er ausreichend Informationen erhalten, um seine eigenen Pflichten erfüllen zu können. Geeignete Lösungen können abgestufte Dokumentation, unabhängige Prüfberichte, Zertifizierungen, vertrauliche Auditverfahren oder technische Erklärbarkeitsberichte sein. Ob diese genügen, hängt von Risiko und Rechtsrahmen ab.

FAQ zur Algorithmusprüfung

Fazit: Algorithmusprüfung als rechtliche und praktische Kontrollaufgabe

Die Algorithmusprüfung ist ein zentraler Baustein, um automatisierte Entscheidungen nachvollziehbar, rechtssicherer und überprüfbar zu gestalten. Vorrangig sollten Unternehmen klären, welche Systeme eingesetzt werden, welche Daten verarbeitet werden, welche Folgen Entscheidungen haben und welche gesetzlichen Pflichten greifen. Danach folgen Risikoklassifizierung, Dokumentation, Transparenz, menschliche Kontrolle, Vertragsprüfung und laufendes Monitoring.

Betroffene sollten Ergebnisse, Fristen und Kommunikationsverläufe früh sichern und gezielt Auskunft oder Überprüfung verlangen, wenn eine automatisierte Entscheidung erhebliche Auswirkungen hat. Ob Ansprüche bestehen, hängt jedoch stets vom Einzelfall ab: Datenbasis, Rechtsgrundlage, Automatisierungsgrad, Schaden, Beweise und einschlägiges Rechtsgebiet sind entscheidend.

Eine sorgfältige Prüfung schafft keine absolute Fehlerfreiheit. Sie verbessert aber die Nachvollziehbarkeit, reduziert vermeidbare Risiken und erleichtert die sachliche Klärung, wenn algorithmische Entscheidungen rechtlich angegriffen oder verteidigt werden müssen.