Emotionserkennung in der Servicehotline

Begriffsdefinition: Emotionserkennungssysteme 

Nicht jedes System zur Erkennung von Emotionen oder Absichten fällt automatisch unter Art 3 Z 39 KI-VO. Ebenso nicht erfasst sind Systeme, die bloß körperliche Zustände wie Schmerz oder Müdigkeit erkennen und beispielsweise Unfälle bei Piloten oder Fahrern verhindern sollen. GK_25_12_2

Art 3 Z 39 KI-VO erfasst vielmehr nur solche Emotionserkennungssysteme, die dem Zweck dienen, Emotionen oder Absichten einer natürlichen Person auf Basis ihrer biometrischen Daten festzustellen oder abzuleiten. Dazu zählen auch KI-Systeme, die semantische Besonderheiten und Stimmfärbungen in Sprachsequenzen erkennen und daraus Emotionen ableiten – wie sie in einer Servicehotline zum Einsatz kommen können.

Verbotene Emotionserkennungssysteme

Der EU-Gesetzgeber ist gegenüber Emotionserkennungssystemen tendenziell skeptisch. Die Sorge vor diskriminierenden Ergebnissen und Eingriffen in Rechte und Freiheiten betroffener Personen führte dazu, dass deren Einsatz in bestimmten Bereichen mit einem besonderen Machtungleichgewicht grundsätzlich verboten ist.

So untersagt Art 5 Abs 1 lit f KI-VO am Arbeitsplatz und in Bildungseinrichtungen sowohl „das Inverkehrbringen, die Inbetriebnahme für diesen spezifischen Zweck“ als auch „die Verwendung von KI-Systemen zur Ableitung von Emotionen einer natürlichen Person“. Dies gilt jedoch nicht, wenn das Emotionserkennungssystem ausschließlich medizinischen oder sicherheitstechnischen Zwecken dient. Solche Systeme stuft die KI-VO vielmehr als „hochriskant“ ein. 

Ein KI-System in der Servicehotline würde demnach jedenfalls unter das Verbot fallen, wenn es nicht nur für den Zweck der Ableitung von Emotionen eines (potenziellen) Kunden, sondern auch zur Ableitung von Emotionen einer natürlichen Person am Arbeitsplatz in Verkehr gebracht oder in Betrieb genommen wird.GK_25_12_3

Lässt sich sicherstellen, dass das verwendete KI-Emotionserkennungssystem lediglich Emotionen des anrufenden Kunden ableiten kann oder der Arbeitgeber keine Zugriffsmöglichkeit auf die abgeleiteten Emotionen seiner Angestellten oder Callcenter-Agenten hat, greift das Verbot nach Art 5 Abs 1 lit f KI-VO meines Erachtens hingegen nicht.

Erlaubte Emotionserkennungssysteme als Hochrisiko-KI    GK_25_12_4

Die Zulässigkeit von Emotionserkennungssystemen, die nach der KI-VO nicht verboten sind, wäre sodann nach ihrer Einstufung als hochriskant zu prüfen. Die KI-VO unterscheidet zwischen Hochrisiko-KI-Systemen mit produktbezogenen Risiken sowie Hochrisiko-KI-Systemen mit kontextbezogenen Risiken. 

Art 6 Abs 2 KI-VO behandelt die kontextbezogenen KI-Systeme, die in Anbetracht ihres beabsichtigten Zwecks als erhebliches Risiko für Gesundheit, Sicherheit oder grundlegende Rechte angesehen werden. Anhang III führt acht Bereiche mit hoher Grundrechtsrelevanz an, in denen die Nutzung von KI-Systemen ein solch erhebliches Risiko mit sich bringen kann. Der Einsatz von Emotionserkennungssystemen lässt sich im genannten Anhang in den dort angeführten Bereich der Biometrie einordnen.  

„Die bis 2.2.2026 zu veröffentlichenden Leitlinien der EU-Kommission sollen eine Liste mit Anwendungsfällen zur Hochrisiko-Einstufung sowie zur Widerlegung enthalten.“

BEATRICE LADENBAUER, RAIFFEISEN DIGITAL BANK

Widerlegung des hohen Risikos

Die Vermutung des hohen Risikos der KI-Systeme in Anhang III kann anhand bestimmter in Art 6 Abs 3 KI-VO genannter Kriterien durch Anbieter widerlegt werden: Das KI-System darf zunächst Gesundheit, Sicherheit oder Grundrechte natürlicher Personen keinem erheblichen Beeinträchtigungsrisiko aussetzen, indem es das Ergebnis der Entscheidungsfindung wesentlich beeinflusst.

Es muss außerdem dazu bestimmt sein, …

● eng gefasste Verfahrensaufgaben durchzuführen (etwa Umstrukturierung von Daten, Dokumentenkategorisierung, Erkennung von Duplikaten),   GK_25_12_5

● das Ergebnis einer zuvor abgeschlossenen menschlichen Tätigkeit zu verbessern (Grammatik-/Schreibprogramme, Formatierungshilfen), 

● Entscheidungsmuster oder Abweichungen davon zu erkennen, ohne die menschliche Überprüfung zu ersetzen (Überprüfung von abweichenden Benotungen im Bildungsbereich …),

● oder vorbereitende Aufgaben für eine Bewertung durchzuführen (Text- und Sprachverarbeitung, Verknüpfung von Daten mit anderen Datenquellen).

Profiling in der Servicehotline

Eine Widerlegung des hohen Risikos ist aber nur in jenen Fällen möglich, in denen kein Profiling durchgeführt wird. Art 4 Abs 4 DSGVO definiert Profiling als jede Art von automatisierter Verarbeitung personenbezogener Daten mit dem Zweck, diese Daten zur Bewertung bestimmter persönlicher Aspekte, die sich auf eine natürliche Person beziehen, zu verwenden.

Zweifelsfrei erfolgt die Verarbeitungbei Emotionserkennungssystemen automatisiert. Bei deren Anwendung in der Servicehotline ist zudem von einer Verarbeitung personenbezogener Daten auszugehen, da die betreffenden Personen in der Regel identifiziert oder identifizierbar sind. 

Zu unterscheiden ist, ob das System in der Folge dazu verwendet wird, Schlüsse über das Verhalten des konkreten Kunden zu ziehen oder ob die Emotionen nur zu statistischen Zwecken (allgemeine Kundenzufriedenheit) erhoben werden. In ersterem Fall wäre der Tatbestand nach Art 4 Abs 4 DSGVO wohl erfüllt. In zweiterem Fall wäre hingegen nicht von Profiling auszugehen.

Leitlinien mit Anwendungsfällen

Die bis 2.2.2026 zu veröffentlichenden Leitlinien der Europäischen Kommission sollen eine umfassende Liste an Anwendungsfällen zur Hochrisiko-Einstufung sowie zur Widerlegung enthalten. Damit wird die Einordnung künftig wohl erleichtert.

In jedem Fall ist zu beachten: Sowohl die Registrierungspflicht in der EU-Datenbank nach Art 49 KI-VO als auch die Informationspflicht für die davon betroffenen natürlichen Personen über den Betrieb des Systems und die verarbeiteten personenbezogenen Daten nach Art 50 Abs 3 KI-VO bleiben von einer allfälligen Widerlegung des hohen Risikos unberührt.  GK_25_12_6

Stark gekürzter und bearbeiteter Auszug des Fachbeitrags „Kundenhotline 2.0: Wie viel Emotionserkennung ist zu viel?“ aus der neu gegründeten MANZ-Zeitschrift ailex. Beispiele für Fallkonstellationen aus der Praxis sowie Erläuterungen zu weiteren rechtlichen Rahmenbedingungen für Emotionserkennungssysteme – von DSGVO bis Arbeitsrecht – finden sich im vollständigen Fachbeitrag in ailex 1/2025.