KI-Nutzung an Hochschulen: Wer ist verantwortlich, wenn die künstliche Intelligenz Fehler macht?

Beschäftigte nutzen KI-Systeme häufig längst, bevor ihre Organisation dafür Regeln geschaffen hat. Das gilt für die private Nutzung frei zugänglicher Chatbots ebenso wie für Anwendungen, die über dienstliche Accounts oder institutionell bereitgestellte Plattformen erreichbar sind. Texte werden entworfen, Bewerbungsunterlagen zusammengefasst, Daten strukturiert, Übersetzungen erstellt, Code geschrieben und Konzepte entwickelt. Das Ergebnis wirkt oft überzeugend. Ob es richtig, vollständig, rechtlich zulässig oder für den konkreten Zweck geeignet ist, bleibt jedoch oft eine ungeklärte Frage.

Die in diesem Zusammenhang dann naheliegende Frage, wer in Unternehmensumgebungen die Verantwortung für Schatten-KI, fehlerhafte Ausgaben, unzulässige Datenübermittlungen und ungeprüfte Entscheidungen trägt, ist dagegen grundsätzlich recht einfach zu beantworten:

Für den Einsatz künstlicher Intelligenz gibt es kein eigenständiges Haftungsregime, das die allgemeinen Organisations- und Sorgfaltspflichten verdrängt. Die Maschine kann rechtlich nichts verantworten. Unternehmen und die für sie handelnden Personen bleiben also selbst verantwortlich, wenn fehlerhafte KI-Ausgaben übernommen, Daten unzulässig eingegeben oder Entscheidungen ohne ausreichende Kontrolle getroffen werden.

Und eine für die Nutzung geschaffene KI-Policy / KI-Richtlinie ist zwar regelmässig notwendiges, jedoch kein hinreichendes Mittel zur „Enthaftung“. Sie genügt insbesondere nicht, wenn sie nicht durch Zuständigkeiten, Schulungen, technische und organisatorische Sicherungen sowie nachvollziehbare Kontrollwege ergänzt wird. Auch für das Verhältnis Unternehmensleitung und Beschäftigte gilt im Zweifelsfall die analoge Anwendung des guten alten Prinzips „Eltern haften für ihre KInder“.

Dieser Befund gilt für Unternehmen, er lässt sich aber auch auf den öffentlich-rechtlichen Bereich der Hochschulen übertragen. Er erhält dort allerdings eine eigene Bedeutung:

Hochschulen sind nicht nur Arbeitgeberinnen. Sie treffen Prüfungs- und Zulassungsentscheidungen, führen Berufungs- und Personalverfahren durch, verarbeiten Forschungsdaten, verwalten Drittmittel und organisieren und administrieren Lehre. KI kann in jedem dieser Bereiche eingesetzt werden. Die Risiken unterscheiden (=erweitern) sich deshalb erheblich.

Wer KI nutzt, um einen allgemeinen Textentwurf zu verbessern, bewegt sich in einem anderen rechtlichen Umfeld als eine Person, die Bewerbungsunterlagen in ein System eingibt, eine Prüfungsleistung mit KI auswertet oder Forschungsdaten in einem externen Dienst verarbeitet. Der technische Vorgang mag ähnlich aussehen. Rechtlich liegt zwischen beiden Situationen allerdings ein erheblicher Unterschied: In dem einen Fall geht es möglicherweise vor allem um die fachliche Richtigkeit eines Textes. In dem anderen Fall können Datenschutz, Prüfungsrecht, Gleichbehandlung, Vertraulichkeit, Urheberrecht, Drittmittelbedingungen und die Grundrechte der betroffenen Personen berührt sein.

Das erste Problem ist deshalb die Verwendung nicht freigegebener Systeme. Im Unternehmensbereich wird hierfür der Begriff Schatten-KI verwendet. Gemeint ist die Nutzung von KI-Anwendungen außerhalb der vom Arbeitgeber oder der Organisation vorgesehenen Systeme.

An Hochschulen ist dieses Problem besonders ausgeprägt:

Studierende, Lehrende, Forschende und Beschäftigte nutzen unterschiedliche Dienste und private Accounts. Die Gründe liegen auf der Hand: Viele Systeme sind kostenlos oder leicht zugänglich, ihre Nutzung ist nicht auf bestimmte Arbeitsplätze beschränkt und verbindliche hochschulweite Angebote stehen bislang nicht überall zur Verfügung.

Ein allgemeines Verbot löst dieses Problem nicht. Es ist praktisch kaum durchsetzbar und lässt die tatsächliche Nutzung unberührt. Hochschulen brauchen deshalb einen institutionellen Zugang zu KI-Anwendungen, der typische Anwendungsfälle abdeckt und eine reale Alternative zu privaten Angeboten bietet.

Das Land Schleswig-Holstein hat vor diesem Hintergrund in diesem Jahr eine gemeinsame KI-Infrastruktur der staatlichen Hochschulen in Schleswig-Holstein ins Leben gerufen. Alle öffentlichen Hochschulen des Landes sollen die Academic Cloud sowie die Dienste Chat AI, Projects und CoCalc der Gesellschaft für wissenschaftliche Datenverarbeitung mbH Göttingen nutzen. Das Angebot steht Studierenden, Lehrenden, Forschenden und Beschäftigten in Technik und Verwaltung für wissenschaftliche Zusammenarbeit, Lehre, Forschung und Verwaltung zur Verfügung.

Damit ist ein wichtiges praktisches Problem angegangen. Eine gemeinsame, wissenschaftsnahe Infrastruktur kann die Nutzung externer Einzelangebote zurückdrängen, wenn sie für die tatsächlichen Anforderungen in Studium, Lehre, Forschung und Verwaltung geeignet ist. Sie erleichtert es zugleich, Nutzungsregeln, Schulungen und technische Schutzmaßnahmen nicht an jedem Standort vollständig neu zu entwickeln.

Die Infrastruktur selbst beantwortet allerdings nicht die Frage, welche Daten in ein System eingegeben werden dürfen. Dass ein Dienst institutionell bereitgestellt wird, bedeutet nicht, dass Personalakten, Bewerbungsunterlagen, Prüfungsakten, Nachteilsausgleichsdaten, unveröffentlichte Forschungsergebnisse oder vertrauliche Drittmittelunterlagen ohne weitere Prüfung verarbeitet werden dürfen.

Die Hochschule bleibt für die konkrete Verarbeitung verantwortlich. Sie muss weiterhin prüfen, auf welcher Rechtsgrundlage personenbezogene Daten verarbeitet werden, ob die Daten für den jeweiligen Zweck erforderlich sind, wer darauf Zugriff hat und wie lange sie gespeichert werden.

Dies ist natürlich keine Besonderheit der KI. Die KI verschärft jedoch die praktische Relevanz dieser Fragen, weil sie zur schnellen Eingabe großer Mengen von Informationen einlädt. Ein Prompt kann Namen, Matrikelnummern, Prüfungsbewertungen, Gesundheitsangaben, Projektinformationen oder vertrauliche Dokumente enthalten. Ob diese Daten in einem konkreten System verarbeitet werden dürfen, hängt nicht davon ab, ob die Ausgabe nützlich wäre. Es hängt von den rechtlichen Voraussetzungen der Verarbeitung ab.

Die europäische KI-Verordnung ergänzt diesen Rahmen. Hochschulen sind bei institutionell verantwortetem KI-Einsatz regelmäßig Betreiberinnen eines KI-Systems. Sie müssen deshalb nicht nur die technische Funktionsfähigkeit eines Systems im Blick behalten, sondern auch dessen tatsächliche Verwendung. Die Verordnung verlangt von Anbietern und Betreibern auch konkrete Maßnahmen zur Förderung der KI-Kompetenz der Personen, die mit KI-Systemen arbeiten.

Im Hochschulbereich kann sich diese Pflicht nicht auf allgemeine Einführungen in einzelne Tools beschränken:

Lehrende müssen wissen, welche Folgen die Nutzung von KI für Prüfungen haben kann, Beschäftigte in der Verwaltung müssen erkennen können, wann sie personenbezogene oder vertrauliche Daten verarbeiten und Forschende müssen einschätzen können, ob ein System ausschließlich im Rahmen von Forschung und Entwicklung verwendet wird oder ob ein produktiver Einsatz vorbereitet wird. Und Personen, die über Personal- oder Zulassungsverfahren entscheiden, müssen verstehen, dass eine KI-Ausgabe keine neutrale oder objektive Vorentscheidung darstellt.

Die Verordnung behandelt bestimmte KI-Einsätze als hochriskant. Das betrifft unter anderem Systeme, die über Zugang oder Zulassung zu Bildungseinrichtungen entscheiden, Lernergebnisse bewerten, das Bildungsniveau beeinflussen oder verbotenes Verhalten bei Prüfungen überwachen und erkennen sollen. Im Personalbereich betrifft dies Systeme zur Sichtung und Bewertung von Bewerbungen, zur Beeinflussung von Arbeitsbedingungen und zur Überwachung oder Bewertung von Beschäftigten.

Für Hochschulen sind damit insbesondere drei Bereiche relevant: Prüfungen, Personal und Studienzugang.

Ein KI-System, das Studierenden freiwillig Hinweise zu einem Text gibt, ist rechtlich anders zu bewerten als ein System, das einen Täuschungsverdacht erzeugt oder eine Prüfungsnote vorbereitet. Ein Tool, das eine Bewerbungsakte sortiert, ist etwas anderes als ein System, das eine Rangfolge von Bewerberinnen und Bewerbern erstellt. Ein Chatbot, der allgemeine Informationen zum Studium bereitstellt, unterscheidet sich von einer Anwendung, die Zugangsvoraussetzungen bewertet oder Studieninteressierte automatisiert bestimmten Angeboten zuweist.

Die rechtliche Grenze verläuft nicht notwendig dort, wo eine Entscheidung vollständig automatisiert getroffen wird:

Auch eine menschliche Entscheidung kann problematisch sein, wenn sie sich tatsächlich nur noch auf eine KI-Ausgabe stützt. Die KI-Verordnung verlangt deshalb bei Hochrisikosystemen eine wirksame menschliche Aufsicht. Die zuständige Person muss die Fähigkeiten und Grenzen des Systems kennen, seine Ausgabe eigenständig einordnen und sie bei Bedarf außer Acht lassen oder korrigieren können.

Für Prüfungen bedeutet dies, dass KI-Detektoren oder automatisierte Auswertungen keine tragfähige Grundlage für einen Täuschungsvorwurf oder eine Prüfungsentscheidung bilden können. Sie können allenfalls Anlass sein, den Sachverhalt genauer aufzuklären. Dass ein System einen Text als möglicherweise KI-generiert einstuft, beantwortet weder die Frage, ob eine KI tatsächlich genutzt wurde, noch ob ihre Nutzung nach der konkreten Prüfungsregelung unzulässig war. Prüfungsrechtlich kommt es auf die Eigenleistung, die Aufgabenstellung und die zuvor bekannt gemachten Hilfsmittelregeln an.

Die Nutzung von KI durch Studierende muss deshalb nicht einheitlich verboten oder erlaubt werden. Sie muss für die jeweilige Prüfungsform bestimmt werden. Eine Hausarbeit kann eine eigenständige wissenschaftliche Argumentation und Rechercheleistung prüfen. Dann kann die Nutzung generativer KI beschränkt oder ausgeschlossen sein. Eine andere Prüfungsform kann gerade die Fähigkeit bewerten, KI sinnvoll zu verwenden, Ergebnisse kritisch zu prüfen und die eigene Nutzung nachvollziehbar zu dokumentieren. Dann kann eine Offenlegung der KI-Nutzung sinnvoller sein als ein Verbot.

Auch Forschungsvorhaben erfordern eine differenzierte Betrachtung:

Die KI-Verordnung nimmt Systeme und Modelle aus, die ausschließlich zu wissenschaftlichen Forschungs- und Entwicklungszwecken entwickelt und betrieben werden. Diese Ausnahme schützt jedoch nicht jede Anwendung, die an einer Hochschule stattfindet.

Sie greift nicht mehr, wenn ein System produktiv eingesetzt, Dritten bereitgestellt oder unter Realbedingungen getestet wird. Datenschutzrecht, Geheimnisschutz, Urheberrecht, Förderbedingungen und vertragliche Verpflichtungen gelten ohnehin neben der KI-Verordnung fort.

Die wichtigste Aufgabe für Hochschulen besteht damit nicht in der Formulierung möglichst umfangreicher KI-Regeln. Sie besteht in der Einordnung konkreter Anwendungen.

Allgemeine, nicht vertrauliche und nicht entscheidungsrelevante Nutzungen können über eine gemeinsame Infrastruktur niedrigschwellig ermöglicht werden. Für Personal, Prüfungen, Zulassung, sensible Forschungsdaten und eigene KI-Entwicklungen braucht es jedoch klare Zuständigkeiten und verlässliche Prozesse.