16. Mai 2025

Künstliche Intelligenz, wie ChatGPT, bietet vor allem im Arbeitsalltag, im Büro und besonders auch als neues Lernmedium in der Ausbildung viele spannende Möglichkeiten. Doch beim Einsatz von ChatGPT und Co gibt es wichtige rechtliche Regeln zu beachten. Insbesondere der EU AI Act, eine neue Verordnung zur Künstlichen Intelligenz (KI), legt fest, wie und wo KI eingesetzt werden darf – und wo nicht. Bereits die Bußgelder für Anwenderinnen und Anwender können je nach Verstoß sehr hoch sein.

Der EU AI Act: Was bedeutet er für die Nutzung von KI in der Ausbildung?

Der EU AI Act ist ein umfangreiches Gesetzesvorhaben, das für den Umgang mit künstlicher Intelligenz in den Mitgliedsstaaten der europäischen Union Rahmenbedingungen vorgibt.
Seit Februar 2025 gelten die ersten Regelungen des Gesetzes verbindlich. Weitere werden im Zeitverlauf folgen. Diese Regelungen haben auch ganz konkrete Auswirkungen für die Nutzung von Künstlicher Intelligenz im Ausbildungsalltag. Künstliche Intelligenz wird nach dem EU AI ACT in verschiedene Risikokategorien einteilt:

  • verbotene Anwendungen
  • hochriskante Anwendungen
  • und geringeres Risiko.

Ziel des Gesetzes ist es, die Chancen von KI zu fördern und gleichzeitig die Rechte der Menschen, wie Datenschutz und Sicherheit, zu schützen. Für Ausbilderinnen und Ausbilder bedeutet dies, dass nicht alle denkbar möglichen Anwendungsszenarien von Tools wie ChatGPT in der Ausbildung erlaubt sind.

Was ist nicht erlaubt?

Es gibt bestimmte Anwendungen, die laut dem EU AI Act verboten sind, weil sie die Rechte von Menschen gefährden könnten. Für Ausbilderinnen ist es besonders wichtig, auf folgende Punkte zu achten:

  • Manipulation und Täuschung: KI darf nicht dazu verwendet werden, Azubis oder andere Personen zu manipulieren oder zu täuschen. Zum Beispiel ist es verboten, ChatGPT für irreführende oder manipulative Werbetexte zu nutzen, die die Entscheidungen von Betroffenen in eine falsche Richtung lenken.
  • Ausnutzung schutzbedürftiger Personen: Eine KI darf nicht eingesetzt werden, um gezielt Abhängigkeiten oder Schwächen von Menschen auszunutzen – etwa beim Lerncoaching für minderjährige Azubis, wenn stark emotionales Feedback psychologischen Druck erzeugt.  
  • Social Scoring: Es ist verboten, mit Hilfe von KI wie ChatGPT Menschen nach ihrem Verhalten oder persönlichen Eigenschaften zu bewerten oder zu kategorisieren. Beispielsweise ist es nicht erlaubt, Azubis durch eine KI in Ranglisten einzuordnen.
  • Emotionserkennung am Arbeitsplatz: Der Einsatz von KI zur Erkennung von Emotionen oder der mentalen Verfassung von Mitarbeitenden oder Azubis ist verboten.

Hochriskante Anwendungen im Personalwesen

Einige Anwendungsbereiche  von KI, wie ChatGPT, gelten als hochriskant, vor allem im Bereich Personalwesen. Bei den folgenden Anwendungsfällen sollten Ausbilder:innen besonders aufpassen, denn hier gelten strenge gesetzliche Anforderungen.  

  • Automatisierte Azubiauswahl: Es ist problematisch, wenn ChatGPT oder eine anderes KI-System dazu verwendet wird, die Bewerbungen von potenziellen Azubis automatisch zu sichten oder Bewerber:innen auszuwählen. Ein solches Vorgehen ist heikel und muss umfangreich geprüft und bewertet werden.
  • Azubiüberwachung und -bewertung: ChatGPT sollte nicht verwendet werden, um Azubis zu überwachen, etwa durch die Analyse von E-Mails oder Chatverläufen zur Leistungsbewertung. Gleiches gilt für Prüfungsbewertungen. Solche KI-Anwendungsfälle sind streng reguliert.
  • Automatisierte Personalentscheidungen: Entscheidungen, die Auswirkungen auf die Karriere eines Azubis haben, dürfen nicht allein von einer KI getroffen werden. Ein Mensch muss immer die finale Entscheidung treffen, wenn es um Personalentscheidungen geht.

Sensible Daten nicht eingeben

Ein weiterer wichtiger Punkt beim Einsatz von ChatGPT ist der Datenschutz. Ausbilderinnen und Ausbilder sollten sicherstellen, dass keine sensiblen oder personenbezogenen Daten in ChatGPT eingegeben werden. Wenn vertrauliche Daten wie Kundeninformationen, Namen von Azubis oder interne Unternehmensdaten in das System eingegeben werden, können diese Daten an die Server des KI-Anbieters übertragen werden. Das kann gegen die Datenschutz-Grundverordnung (DSGVO) verstoßen, besonders wenn die Daten in Drittländer wie die USA übermittelt werden, ohne dass ausreichende Sicherheitsvorkehrungen bestehen.

Tipp: Verwende in ChatGPT keine echten personenbezogenen oder gar vertrauliche Daten (wie zum Beispiel die echten Namen deiner Kund:innen), sondern nutze Dummy-Daten -also frei erfundene Informationen wie z.B. „Max Mustermann“- oder greife auf anonymisierte Informationen zurück.

Transparenz: Offen über KI-Nutzung informieren

Eine weitere wichtige Regel des EU AI Acts ist die Transparenzpflicht. Es muss klar erkennbar sein, wenn KI zum Einsatz kommt. Das bedeutet, wenn Ausbilderinnen oder Azubis ChatGPT nutzen, sollten sie immer darauf hinweisen, dass sie mit einer KI sprechen oder arbeiten. Besonders in der externen Kommunikation, zum Beispiel mit Kunden, sollte deutlich gemacht werden, dass ein KI-Tool wie ChatGPT verwendet wurde (mehr dazu: KI-Transparenzanforderungen in der Ausbildung erfüllen).

Beispiel: Wenn ein Azubi mit ChatGPT einen Text erstellt hat, ist es empfehlenswert im Dokument oder in der E-Mail dies zu vermerken: „Dieser Entwurf wurde mit Unterstützung von KI erstellt und von uns geprüft.“

    Empfehlungen für einen verantwortungsvollen Einsatz von ChatGPT

    Wenn Ausbilderinnen und Ausbilder sicherstellen, dass keine sensiblen Daten eingegeben, die KI-Ergebnisse kritisch hinterfragt werden und immer eine menschliche Aufsicht über die Entscheidungen besteht, dann können KI-Tools wie ChatGPT ein wertvolles Werkzeug im Ausbildungsalltag sein. Durch transparente Kommunikation und gezielte Schulungen können Azubis zudem sicher im Umgang mit KI unterstützt werden. So bleibt der Einsatz von ChatGPT und Co nicht nur effektiv, sondern auch sicher. Dies ist auch wichtig, da der EU AI ACT die Schulung aller vorschreibt, die mit KI Arbeiten, Stichwort KI-Kompetenz.

    Dieser Beitrag ist keine Rechtsberatung.

    Interesse geweckt?
    Erfahren Sie im Training ChatGPT und Chatbots in der Ausbildung nutzen", wie Sie KI sinnvoll in Lehr- und Lernprozesse integrieren können.

    Weiterbildungen und Beiträge zu ähnlichen Themen