Ratgeber · Governance & Verantwortung

AI-Governance in der Praxis: Was Unternehmen wirklich brauchen

AI-Governance ist im DACH-Mittelstand zu einem doppelt überladenen Begriff geworden. Auf der einen Seite gibt es 200-Seiten-Frameworks, die niemand pflegt. Auf der anderen Seite wird der Begriff oft so verwendet, als wäre eine kurze E-Mail-Richtlinie ausreichend. Beide Extreme verfehlen die operative Realität.

Dieser Ratgeber beschreibt, was Unternehmen vor und nach dem ersten produktiven KI-System tatsächlich brauchen — pragmatisch, dokumentierbar, ohne Beratungs-Theater. Aus realer DACH-Mittelstandspraxis, nicht aus dem Norm-Workshop.

1. Was Unternehmen vor dem ersten produktiven KI-System klären sollten

Diese vier Fragen müssen vor Go-Live beantwortet sein. Wenn nicht, läuft Governance dem Betrieb hinterher — und wird teurer und unsicherer, je weiter sie hinterherläuft.

Wer trägt die Verantwortung für dieses System?

Eine konkret benannte Person für den operativen Betrieb, eine zweite für die strategische Verantwortung. Nicht „die IT" oder „das Team". Mit Namen, mit Mandat, mit Eskalationspfad an die Geschäftsführung.

Welche Daten fließen wo durch?

Datenklassifikation pro Eingangsdatum: was ist personenbezogen, was ist Geschäftsgeheimnis, was ist öffentlich? Welche Rechtsgrundlage greift nach DSGVO? Wo läuft das Modell — EU-souverän, Hybrid, On-Premise? AVV mit jedem Anbieter vorhanden?

Wo bleibt der Mensch in der Schleife?

Welche Entscheidungen darf das System alleine treffen, wo ist eine menschliche Freigabe Pflicht, wo greift ein Vier-Augen-Prinzip? Besonders wichtig bei Entscheidungen mit Rechtswirkung gegenüber Personen (Art. 22 DSGVO).

Was passiert bei Veränderung?

Wie wird ein Modell-Update freigegeben? Wer testet, wer entscheidet, wer kommuniziert an die betroffenen Abteilungen? Wer dokumentiert die Veränderung? Eng verknüpft mit Managed AI Operations in der Praxis.

2. Die fünf Bausteine pragmatischer Governance

Mehr ist selten besser. Diese fünf Bausteine reichen für die meisten Mittelstandsanwendungen. Sie sind eng verzahnt, jeder ist ohne die anderen nutzlos.

01 · Verzeichnis

KI-System-Verzeichnis

Strukturiert, pflegbar, ein Eintrag pro produktivem KI-System. Mindestfelder: Zweck, Modell, Anbieter, Datenflüsse, AVV-Status, Verantwortliche, Risiko-Einstufung, letzte Änderung.

02 · Matrix

Verantwortungs- und Eskalations-Matrix

Wer darf produktiv schalten, wer überwacht den Regelbetrieb, wer entscheidet bei Anomalien, wer eskaliert an die Geschäftsführung. Eine A4-Seite mit Namen, Rollen, Eskalationspfaden — keine Organigramm-Tapete.

03 · Datenschutz

DSGVO-Konzept und Datenklassifikation

Rechtsgrundlage, Datenminimierung, Verfahrensverzeichnis, AVV mit jedem Anbieter, Datenklassifikation pro Datenfluss, Lösch- und Auskunfts-Konzept. Vorbereitung für das, was Ihre Datenschutzbeauftragung ohnehin sehen wollte.

04 · Human-in-the-Loop

Pro Anwendung dokumentiert

Welche Entscheidungen darf das System alleine treffen, wo ist menschliche Freigabe Pflicht, wo Vier-Augen-Prinzip. Dokumentation der menschlichen Entscheidung — schützt Kunden, Mitarbeitende und das Unternehmen.

05 · Audit-Log

Modell- und Konfigurations-Änderungen

Jede Änderung an Modell-Version, Prompt, Eskalations-Regel, Confidence-Threshold oder Schnittstelle ist mit Datum, Verantwortlichem und Begründung protokolliert. Im Audit oder bei einer Anomalie ist Nachvollziehbarkeit Pflicht — nachträgliches Rekonstruieren funktioniert in der Praxis nicht.

3. Wo Unternehmen über- und wo unterbauen

Zwei Extreme, die wir in der Praxis regelmäßig sehen. Beide kosten Geld, beide liefern wenig Schutz.

Überbau

Was zu viel ist

• 200-Seiten-Framework, das niemand öffnet
• Fünf parallele Audit-Pfade ohne klare Hierarchie
• „AI Act-compliant"-Stempel von Anbietern ohne Substanz
• Gremien-Strukturen ohne Entscheidungs-Mandat
• Dokumente, die nach 6 Monaten nicht mehr stimmen

Unterbau

Was zu wenig ist

• „Wir machen das schon, brauchen kein Verzeichnis"
• Keine benannte Verantwortung pro System
• Keine Datenklassifikation der Inputs
• Modell-Updates ohne Test und ohne Dokumentation
• Kein Audit-Log, kein Rollback-Pfad

Die richtige Mitte: ein gepflegtes Set kompakter Dokumente, das im Tagesgeschäft aktuell gehalten werden kann — und das im Audit oder Kunden-Fragebogen prüfbare Antworten liefert.

4. An welchen Bezugsrahmen Governance andocken sollte

Governance entsteht nicht im luftleeren Raum. Sie sollte an die Bezugsrahmen anschließen, die im DACH-Raum für KI im Mittelstand relevant sind — damit die Dokumentation anschlussfähig ist, wenn später ein Audit, ein Konzern-Lieferanten-Fragebogen oder eine Versicherungsprüfung kommt.

EU-KI-Verordnung (EU AI Act)

Verordnung (EU) 2024/1689. Praktisch relevant: Art. 9 (Risikomanagement), Art. 12 (Logging), Art. 14 (menschliche Aufsicht), Art. 17 (Qualitätsmanagementsystem), Art. 50 (Transparenz gegenüber Nutzern). Hochrisiko-Pflichten greifen ab August 2026 stufenweise.

ISO/IEC 42001 — AI Management System

Erschienen Ende 2023. Auch ohne Zertifizierungs-Anspruch ist die Plan-Do-Check-Act-Struktur ein praktikabler Rahmen für KI-System-Verzeichnis und Verantwortungs-Matrix.

DSGVO und Art. 22

Bei automatisierten Entscheidungen mit Rechtswirkung gegenüber Personen gilt Art. 22 DSGVO. Diese Schwelle in der Praxis sauber identifizieren und Vier-Augen- bzw. Human-in-the-Loop-Schritte dort einziehen, wo sie regulatorisch und operativ sinnvoll sind.

NIS2 für betroffene Unternehmen

Falls Ihr Unternehmen unter den NIS2-Anwendungsbereich fällt (in AT umgesetzt mit dem NISG 2024), berühren KI-Systeme Risiko-Management-, Vorfalls-Reporting- und Lieferketten-Pflichten. Verzahnung mit dem bestehenden ISMS ist sinnvoller als zwei Parallelstrukturen.

Diese Bezugsrahmen ersetzen keine juristische Bewertung — sie sind die strukturelle Basis, auf der eine solche Bewertung effizient aufsetzen kann.

Wann der formale Governance-Aufbau sinnvoll ist — und wann nicht

Sinnvoll, wenn

• Ein KI-System läuft produktiv mit Außenwirkung
• Kunden oder Auditstellen fragen nach KI-Einsatz
• Mehrere KI-Anwendungen sind parallel im Aufbau
• NIS2, ISO 27001 oder vergleichbare Standards greifen ohnehin
• Ein Hochrisiko-System im Sinne EU AI Act ist denkbar

Nicht sinnvoll (in der Form), wenn

• Es gibt nur Experimente, keine produktiven Systeme
• Ein Beratungs-Schwergewicht-Framework wird ohne Anlass gekauft
• Geforderte Doku übersteigt die Pflege-Kapazität dauerhaft
• Externe „Compliance-Stempel" ohne Substanz versprochen werden
• Governance vom Tagesgeschäft entkoppelt aufgebaut wird

Häufige Fragen zu AI-Governance in der Praxis

Ab wann brauchen wir AI-Governance?

Spätestens dann, wenn das erste KI-System produktiv arbeitet und Vorgänge mit Außenwirkung beeinflusst — also realistisch ab dem ersten Tag im Regelbetrieb. Vorher ist Governance ein leeres Versprechen. Sobald ein Kunde, ein Auditor, ein Lieferanten-Fragebogen oder die Geschäftsführung danach fragt, muss eine belastbare Antwort vorliegen. Wer das im Nachhinein aufbaut, zahlt das Mehrfache und liefert oft trotzdem nur Papier ohne Substanz.

Was ist der Unterschied zwischen Governance und Compliance?

Compliance ist das Erfüllen einer externen Vorgabe (DSGVO, EU AI Act, Branchenstandard) zu einem Stichtag. Governance ist die laufende Disziplin im Unternehmen, mit der Compliance dauerhaft sichergestellt wird — Rollen, Prozesse, Dokumentation, Eskalation. Compliance ohne Governance erzeugt Schubladen-Dokumente. Governance ohne Compliance erzeugt Aktivität ohne Anschluss an die Realität. Beide Seiten brauchen einander.

Wir sind kein Hochrisiko-Anbieter nach EU AI Act — brauchen wir trotzdem Governance?

Ja, aber proportional. Die Hochrisiko-Pflichten des EU AI Act betreffen wenige Anwendungen im Mittelstand. Die zugrundeliegende Disziplin (System-Verzeichnis, Verantwortlichkeit, Human-in-the-Loop, Audit-Log) ist aber für jede produktive KI-Anwendung sinnvoll — auch außerhalb der Hochrisiko-Kategorie. Im DACH-Mittelstand wird Governance auch durch Kunden-Fragebögen, NIS2, Versicherungsabfragen und ISO-27001-Auditpfade getrieben, nicht nur durch den AI Act.

Wie viele Seiten Dokumentation brauchen wir wirklich?

So wenig wie möglich, so viel wie nötig — und vor allem: nur das, was Ihr Team im Tagesgeschäft auch aktuell halten kann. Mehr Seiten heißen nicht mehr Governance. Ein gepflegtes 20-Seiten-Register, eine kurze Verantwortungs-Matrix, ein Audit-Log und ein dokumentierter Eskalations-Pfad sind besser als ein 200-Seiten-Framework, das niemand öffnet. Wer Ihnen sagt, Governance brauche 200 Seiten, verkauft Beratungs-Volumen, nicht Schutz.

Wer trägt operativ die Governance-Verantwortung im KMU?

Eine konkret benannte Person mit ausreichendem Mandat — typischerweise die IT-Leitung, der oder die Datenschutzbeauftragte oder ein Information-Security-Officer, wo vorhanden. Für die strategische Ebene die Geschäftsführung. Wichtig: nicht „das Team" oder „ein Gremium" als alleinige Verantwortung — Governance ohne benannten Owner zerfällt im ersten Stress-Test. Externe Begleitung kann unterstützen, aber nicht die interne Verantwortlichkeit ersetzen.

Governance pragmatisch aufbauen?

Eine kostenlose KI-Potenzialanalyse bewertet die Governance-Lücken Ihrer aktuellen oder geplanten KI-Systeme — pragmatisch, ohne Beratungs-Theater, mit Anschluss an EU AI Act, DSGVO und ISO 42001.

KI-Potenzialanalyse anfragen