Beschäftigte nutzen KI-Systeme häufig längst, bevor ihre Organisation dafür Regeln geschaffen hat. Das gilt für die private Nutzung frei zugänglicher Chatbots ebenso wie für Anwendungen, die über dienstliche Accounts oder institutionell bereitgestellte Plattformen erreichbar sind. Texte werden entworfen, Bewerbungsunterlagen zusammengefasst, Daten strukturiert, Übersetzungen erstellt, Code geschrieben und Konzepte entwickelt.
So manche(r) Nutzer(in) hat am Arbeitsplatz Google inzwischen durch ChatGPT ersetzt. Aber auch Google selbst beantwortet mittlerweile alle Suchanfragen als erstes mit dem „Denkergebnis“ eines seiner Gemini-Modelle.
Das Ergebnis wirkt oft überzeugend – zumindest auf den ersten Blick. Ob es tatsächlich richtig, vollständig oder für den konkreten Zweck wirklich geeignet ist, bleibt jedoch oft eine ungeklärte Frage. Erst recht diejenige danach, ob die jeweilige Nutzung rechtlich zulässig war bzw. ist.
Die in diesem Zusammenhang naheliegende weitere Frage, wer in Unternehmensumgebungen die Verantwortung für Schatten-KI, fehlerhafte Ausgaben, unzulässige Datenübermittlungen und ungeprüfte Entscheidungen trägt, ist grundsätzlich recht einfach zu beantworten:
Für den Einsatz künstlicher Intelligenz gibt es kein eigenständiges Haftungsregime, das die allgemeinen Organisations- und Sorgfaltspflichten verdrängt. Die Maschine kann rechtlich nichts verantworten. Unternehmen und die für sie handelnden Personen bleiben also selbst verantwortlich, wenn fehlerhafte KI-Ausgaben übernommen, Daten unzulässig eingegeben oder Entscheidungen ohne ausreichende Kontrolle getroffen werden.
Und eine für die Nutzung geschaffene KI-Policy / KI-Richtlinie ist zwar ein stets notwendiges, jedoch kein hinreichendes Mittel zur „Enthaftung“:
Sie genügt bei Nutzerverstößen zur Exkulpation der Organisation bzw. ihrer Repräsentant(inn)en regelmässig nicht, wenn sie nicht durch Zuständigkeiten, Schulungen, technische und organisatorische Sicherungen sowie nachvollziehbare Kontrollwege ergänzt wird.
Auch für das Verhältnis zwischen Unternehmensleitung und ihren Beschäftigten gilt also bei digitalen Rechtsverstößen im Zweifelsfall die analoge Anwendung der Botschaft des altbekannten Baustellenschildes „Eltern haften für ihre Kinder“.
Dieser Befund gilt für Unternehmen, er lässt sich aber auch auf den öffentlich-rechtlichen Bereich der Hochschulen übertragen. Er erhält dort allerdings eine eigene – weitreichendere – Bedeutung:
Hochschulen sind nicht nur Arbeitgeberinnen. Sie treffen Prüfungs- und Zulassungsentscheidungen, führen Berufungs- und Personalverfahren durch, verarbeiten Forschungsdaten, verwalten Drittmittel und organisieren und administrieren Lehre. KI kann in jedem dieser Bereiche eingesetzt werden.
Auch die Risiken unterscheiden sich deshalb erheblich:
Wer KI nutzt, um einen allgemeinen Textentwurf zu verbessern, bewegt sich in einem anderen rechtlichen Umfeld als eine Person, die Bewerbungsunterlagen in ein System eingibt, eine Prüfungsleistung mit KI auswertet oder Forschungsdaten in einem externen Dienst verarbeitet.
Der technische Vorgang mag ähnlich ablaufen. Rechtlich liegt zwischen diesen Situationen allerdings ein erheblicher Unterschied:
In dem einen Fall geht es möglicherweise primär um die fachliche Richtigkeit eines Textes. In dem anderen Fall können Datenschutz, Prüfungsrecht, Gleichbehandlung, Vertraulichkeit, Urheberrecht, Drittmittelbedingungen und die Grundrechte der betroffenen Personen berührt sein.
Das Ausgangsproblem ist in beiden Umgebungen identisch: Die Verwendung nicht freigegebener Systeme. Im Unternehmensbereich wird hierfür der Begriff Schatten-KI verwendet. Gemeint ist die Nutzung von KI-Anwendungen außerhalb der vom Arbeitgeber oder der Organisation vorgesehenen Systeme.
An Hochschulen ist dieses Problem besonders ausgeprägt:
Studierende, Lehrende, Forschende und Beschäftigte nutzen unterschiedliche Dienste und private Accounts. Die Gründe liegen auf der Hand: Viele Systeme sind kostenlos oder leicht zugänglich, ihre Nutzung ist nicht auf bestimmte Arbeitsplätze beschränkt und verbindliche hochschulweite Angebote stehen bislang nicht überall zur Verfügung.
Ein allgemeines Verbot löst dieses Problem nicht. Es wäre praktisch nicht durchsetzbar und lässt die tatsächliche Nutzung unberührt. Hochschulen brauchen deshalb einen institutionellen Zugang zu KI-Anwendungen, der typische Anwendungsfälle abdeckt und eine reale Alternative zu privaten Angeboten bietet.
Das Land Schleswig-Holstein hat vor diesem Hintergrund in diesem Jahr eine gemeinsame KI-Infrastruktur der staatlichen Hochschulen in Schleswig-Holstein ins Leben gerufen. Alle öffentlichen Hochschulen des Landes sollen die sog. „Academic Cloud“ sowie die Dienste Chat AI, Projects und CoCalc der Gesellschaft für wissenschaftliche Datenverarbeitung mbH Göttingen nutzen. Das Angebot steht Studierenden, Lehrenden, Forschenden und Beschäftigten in Technik und Verwaltung für wissenschaftliche Zusammenarbeit, Lehre, Forschung und Verwaltung zur Verfügung.
Damit wurde ein wesentliches praktisches Problem sinnvoll in Angriff genommen. Eine gemeinsame, wissenschaftsnahe Infrastruktur kann die Nutzung externer Einzelangebote zurückdrängen, wenn sie für die tatsächlichen Anforderungen in Studium, Lehre, Forschung und Verwaltung geeignet ist. Sie erleichtert es zugleich, Nutzungsregeln, Schulungen und technische Schutzmaßnahmen nicht an jedem Standort vollständig neu zu entwickeln. Ob sie den Anforderungen an Usability, inhaltliches Angebot und Leistungsfähigkeit in der Praxis tatsächlich gerecht wird, wird die Academic Cloud in der nächsten Zeit nun unter Beweis stellen müssen, um den erwähnten Verdrängungseffekt nachhaltig zu festigen.
Die Infrastruktur selbst beantwortet allerdings nicht die Frage, welche Daten in ein System eingegeben werden dürfen. Dass ein Dienst institutionell bereitgestellt wird, bedeutet nicht, dass Personalakten, Bewerbungsunterlagen, Prüfungsakten, Nachteilsausgleichsdaten, unveröffentlichte Forschungsergebnisse oder vertrauliche Drittmittelunterlagen ohne weitere Prüfung verarbeitet werden dürfen.
Die Hochschule bleibt für die konkrete Verarbeitung verantwortlich i.S.d. Art. 4 Nr. 7 DSGVO. Sie muss weiterhin prüfen, auf welcher Rechtsgrundlage personenbezogene Daten verarbeitet werden, ob die Daten für den jeweiligen Zweck erforderlich sind, wer darauf Zugriff hat und wie lange sie gespeichert werden.
Dies ist natürlich keine Besonderheit der KI. Die KI verschärft jedoch die praktische Relevanz dieser Fragen, weil sie zur schnellen Eingabe großer Mengen von Informationen einlädt. Ein Prompt kann Namen, Matrikelnummern, Prüfungsbewertungen, Gesundheitsangaben, Projektinformationen oder vertrauliche Dokumente enthalten. Ob diese Daten in einem konkreten System verarbeitet werden dürfen, hängt nicht davon ab, ob die Ausgabe nützlich wäre. Es hängt von den rechtlichen Voraussetzungen der Verarbeitung ab.
Die europäische KI-Verordnung ergänzt diesen Rahmen. Hochschulen sind bei institutionell verantwortetem KI-Einsatz regelmäßig Betreiberinnen eines KI-Systems gem. Art. 3 Nr. 4 KI-VO. Sie müssen deshalb nicht nur die technische Funktionsfähigkeit eines Systems im Blick behalten, sondern auch dessen tatsächliche Verwendung.
Darüber hinaus verpflichtet Art. 4 Abs. 1 KI-VO Anbieter und Betreiber, Maßnahmen zur Förderung der KI-Kompetenz ihres Personals und weiterer Personen zu ergreifen, die in ihrem Auftrag KI-Systeme betreiben oder nutzen.
Welche Maßnahmen dazu erforderlich sind, hängt dann insbesondere von deren Kenntnissen und Erfahrungen, der jeweiligen Tätigkeit, dem Einsatzkontext und den potentiell betroffenen Personengruppen ab. Im Hochschulbereich kann sich diese Pflicht nicht auf allgemeine Einführungen in einzelne Tools beschränken:
Zudem stuft die KI-Verordnung bestimmte KI-Systeme grundsätzlich als hochriskant ein und stellt für diese zusätzliche Anforderungen.
Das betrifft im Bildungsbereich insbesondere KI-Systeme, die über Zugang, Zulassung oder Zuweisung zu Einrichtungen der allgemeinen oder beruflichen Bildung entscheiden sollen (Anhang III Nr. 3 Buchst. a KI-VO).
Erfasst sind ebenfalls Systeme zur Bewertung von Lernergebnissen, auch wenn diese Ergebnisse zur Steuerung des Lernprozesses verwendet werden (Anhang III Nr. 3 Buchst. b KI-VO) sowie Systeme zur Bewertung des Bildungsniveaus, das eine Person erhalten soll oder zu dem sie Zugang erhalten kann (Anhang III Nr. 3 Buchst. c KI-VO).
Hochriskant sind schließlich auch Systeme zur Überwachung und Erkennung verbotenen Verhaltens von Studierenden bei Prüfungen. (Anhang III Nr. 3 Buchst. d KI-VO)
Im Personalbereich erfasst die KI-Verordnung Systeme zur Einstellung oder Auswahl natürlicher Personen, insbesondere zur Sichtung oder Filterung von Bewerbungen sowie zur Bewertung von Bewerber(inne)n (Anhang III Nr. 4 Buchst. a KI-VO).
Hochriskant sind daneben auch Systeme, die Entscheidungen über Arbeitsbedingungen, Beförderungen oder die Beendigung von Arbeitsverhältnissen beeinflussen sollen, Aufgaben aufgrund individueller Verhaltensweisen oder persönlicher Merkmale zuweisen oder Beschäftigte überwachen und bewerten (Anhang III Nr. 4 Buchst. b KI-VO).
Lehrende müssen daher wissen, welche Folgen die Nutzung von KI für Prüfungen haben kann, Beschäftigte in der Verwaltung müssen erkennen können, wann sie personenbezogene oder vertrauliche Daten verarbeiten und Forschende müssen einschätzen können, ob ein System ausschließlich im Rahmen von Forschung und Entwicklung verwendet wird oder ob ein produktiver Einsatz vorbereitet wird. Und Personen, die über Personal- oder Zulassungsverfahren entscheiden, müssen verstehen, dass eine KI-Ausgabe keine neutrale oder objektive Vorentscheidung darstellt.
Ein KI-System, das Studierenden freiwillig Hinweise zu einem Text gibt, ist rechtlich anders zu bewerten als ein System, das einen Täuschungsverdacht erzeugt oder eine Prüfungsnote vorbereitet. Ein Tool, das eine Bewerbungsakte sortiert, ist etwas anderes als ein System, das eine Rangfolge von Bewerberinnen und Bewerbern erstellt. Ein Chatbot, der allgemeine Informationen zum Studium bereitstellt, unterscheidet sich von einer Anwendung, die Zugangsvoraussetzungen bewertet oder Studieninteressierte automatisiert bestimmten Angeboten zuweist.
Und die rechtliche Grenze verläuft nicht notwendig dort, wo eine Entscheidung vollständig automatisiert getroffen wird:
Auch wenn eine natürliche Person die abschließende Entscheidung trifft, kann der Einsatz eines Hochrisiko-KI-Systems rechtlich problematisch sein, wenn die Entscheidung faktisch auf dessen Ausgabe beruht und keine eigenständige, angemessene Überprüfung stattfindet.
Die KI-Verordnung verlangt für Hochrisiko-KI-Systeme deshalb eine wirksame menschliche Aufsicht, die Risiken für Gesundheit, Sicherheit und Grundrechte verhindern oder zumindest mindern soll (Art. 14 Abs. 1 und 2 KI-VO).
Die hierfür vorgesehenen Aufsichtsmaßnahmen müssen dem Risiko, dem Grad der Autonomie und dem Nutzungskontext des jeweiligen Systems entsprechen (Art. 14 Abs. 3 KI-VO) und das System muss so bereitgestellt werden, dass die mit der Aufsicht betrauten Personen seine einschlägigen Fähigkeiten und Grenzen verstehen, seinen Betrieb überwachen und Fehlfunktionen oder unerwartete Leistungen erkennen können (Art. 14 Abs. 4 Buchst. a KI-VO).
Die Aufsicht – das gilt gleichermassen idealerweise natürlich für jede Person, die ein KI-System nutzt – muss sich vor allem auch jederzeit der Gefahr eines „Automatisierungsbias“ bewusst sein. Damit ist die Neigung gemeint, einer vom KI-System erzeugten Empfehlung oder Bewertung ohne hinreichende eigene Prüfung zu folgen (Art. 14 Abs. 4 Buchst. b KI-VO).
Und die Betreiberin (also die Hochschule) darf gem. Art. 26 Abs. 2 KI-VO die menschliche Aufsicht nur Personen übertragen, die über die erforderliche Kompetenz, Ausbildung und Befugnis verfügen.
Für Prüfungen bedeutet dies u.a., dass KI-Detektoren oder automatisierte Auswertungen keine tragfähige Grundlage für einen Täuschungsvorwurf oder eine Prüfungsentscheidung bilden können. Sie können allenfalls Anlass sein, den Sachverhalt genauer aufzuklären.
Dass ein System einen Text als möglicherweise KI-generiert einstuft, beantwortet weder die Frage, ob eine KI tatsächlich genutzt wurde, noch ob ihre Nutzung nach der konkreten Prüfungsregelung unzulässig war. Prüfungsrechtlich kommt es auf die Eigenleistung, die Aufgabenstellung und die zuvor bekannt gemachten Hilfsmittelregeln an.
Die Nutzung von KI durch Studierende muss deshalb nicht einheitlich verboten oder erlaubt werden. Sie muss für die jeweilige Prüfungsform bestimmt werden:
Eine Hausarbeit kann eine eigenständige wissenschaftliche Argumentation und Rechercheleistung prüfen. Dann kann die Nutzung generativer KI beschränkt oder ausgeschlossen sein. Eine andere Prüfungsform kann gerade die Fähigkeit bewerten, KI sinnvoll zu verwenden, Ergebnisse kritisch zu prüfen und die eigene Nutzung nachvollziehbar zu dokumentieren. Dann kann eine Offenlegung der KI-Nutzung sinnvoller sein als ein Verbot.
Für Hochschulen sind neben Personal, Studienzugang und Prüfungen auch Lehre und Forschung zentrale KI-Einsatzfelder. Und auch Letztere erfordern eine differenzierte Betrachtung:
Die KI-Verordnung nimmt in Art. 8 Abs. 2 KI-VO Systeme und Modelle aus, die ausschließlich zu wissenschaftlichen Forschungs- und Entwicklungszwecken entwickelt und betrieben werden.
Diese Ausnahme schützt jedoch nicht jede Anwendung, die an einer Hochschule stattfindet. Maßgeblich ist nicht, ob ein KI-System an einer Hochschule entwickelt oder eingesetzt wird. Erforderlich ist vielmehr, dass Entwicklung und Inbetriebnahme ausschließlich der wissenschaftlichen Forschung und Entwicklung dienen.
Sobald etwa ein KI-System im regulären Hochschulbetrieb eingesetzt wird, beispielsweise zur Bewerberauswahl, Prüfungsbewertung, Personalverwaltung, Lehre außerhalb eines Forschungsprojekts oder zur Unterstützung administrativer Entscheidungen, greift die Bereichsausnahme regelmäßig nicht.
Erwägungsgrund 25 der KI-VO konkretisiert die Ausnahme für Forschungs-, Test- und Entwicklungstätigkeiten an KI-Systemen und KI-Modellen vor deren Inverkehrbringen oder Inbetriebnahme. Tests unter Realbedingungen sind von dieser Ausnahme jedoch nicht erfasst. Solche Tests unterliegen vielmehr den besonderen Anforderungen der Art. 60 KI-VO und Art. 61 KI-VO.
Die wichtigste Aufgabe für Hochschulen besteht somit nicht in der Formulierung möglichst umfangreicher KI-Regeln. Sie besteht in der zutreffenden inhaltlichen Einordnung konkreter Nutzungen.
Allgemeine, nicht vertrauliche und nicht entscheidungsrelevante Nutzungen können über eine gemeinsame Infrastruktur niedrigschwellig ermöglicht werden. Für Personal, Prüfungen, Zulassung, sensible Forschungsdaten und eigene KI-Entwicklungen braucht es jedoch klare Zuständigkeiten und verlässliche Prozesse.