Deutsch
Eine Führungskraft und ein Neuzugang sitzen bei einem informellen 1:1 auf einem Sofa und sehen sich gemeinsam ein Buch und ein Tablet an.

12 Fragen, die HR-Führungskräfte KI-Anbietern stellen sollten

HR-Führungskräfte versuchen, KI-Tools zu bewerten, ohne klare Orientierung dazu, wie gute Antworten von Anbietern tatsächlich aussehen. Dieser Artikel erklärt die Fragen, auf die es ankommt, und wie die Antworten zu deuten sind.

Als HR-Führungskräfte begannen, KI-Tools zu bewerten, haben viele es unterwegs gelernt. Sie fragten in ihren Netzwerken, worauf zu achten ist, was Sorgen machen sollte und welche Fragen an Anbieter sinnvoll sind. Ich sah immer wieder dieselben Fragen, aber wenig Klarheit darüber, wie gute Antworten eigentlich klingen sollten. Also bin ich sie mit Jon Williams durchgegangen, Co-Founder und Lead Engineer von Pyn, der seit 15 Jahren HR-Tech-Produkte baut. Das Ziel ist nicht, aus HR KI-Fachleute zu machen, sondern klarere Signale zu geben: wo Antworten von Anbietern echte Reife zeigen, wo sie Bedenken wecken sollten und wo es angemessen ist, mehr Details zu verlangen.

1. Mit welchen Daten wurde dieses Modell trainiert, und welche Daten wurden ausdrücklich ausgeschlossen?

Warum HR das fragen sollte: Das ist eine der Fragen, die HR-Führungskräften am häufigsten empfohlen werden, und der Instinkt dahinter ist richtig: Trainingsdaten prägen Ergebnisse. Wenn verzerrte oder ungeeignete Daten fest eingebaut sind, muss HR am Ende Entscheidungen erklären und verteidigen, die es nicht entworfen hat.

Aber hier ist die Feinheit: Die meisten KI-Tools im HR-Bereich bauen auf Basismodellen auf (den zugrunde liegenden Systemen von Unternehmen wie OpenAI, Anthropic oder Google, auf denen viele HR-Tools aufsetzen). Diese Modelle sind alle mit weitgehend ähnlichen Daten trainiert: riesigen Mengen unaufgeräumter Internettexte. Einen Anbieter zu fragen, mit welchen Daten das Basismodell trainiert wurde, trennt gute Anbieter meist nicht von schlechten.

Die bessere Frage: "Was wurde nach dem ursprünglichen Training mit diesem Modell gemacht, damit es für HR-Entscheidungen geeignet ist, und welche Daten oder Prinzipien wurden dabei verwendet?"

Wie eine gute Antwort klingt: Der Anbieter kann erklären, welche Arbeit nach der Entstehung des Basismodells geleistet wurde: zusätzliches Training für HR-Anwendungsfälle, Sicherheitstests oder Regeln, die ungeeignete Ausgaben herausfiltern. Er kann benennen, welche Daten in dieser Phase verwendet wurden, was ausdrücklich ausgeschlossen wurde (z. B. abgegriffene Lebensläufe, abgeleitete geschützte Merkmale) und wer diese Entscheidungen getroffen hat.

Jon sagt: Basismodelle sind alle mit Daten im Internetmaßstab trainiert, und darin steckt viel Müll. Das gilt für die gesamte Branche. Worauf es tatsächlich ankommt, ist die Arbeit nach dem Training: zusätzliches Training, Sicherheitstests und die Leitplanken, die darübergelegt werden. Dort unterscheiden sich Anbieter, und dort solltest du genau hinsehen. Wenn ein Anbieter nicht klar erklären kann, was er nach dem Bau des Basismodells getan hat, verkauft er entweder ein generisches Modell mit minimaler Anpassung weiter oder hat die Arbeit nicht gemacht, die es für HR-Kontexte sicher macht.

2. Wurde dieses Modell darauf trainiert, unfaire oder diskriminierende Ergebnisse zu vermeiden? Wenn ja, wie?

Wie eine gute Antwort klingt: Der Anbieter kann in einfachen Worten erklären, ob das Modell mit Prinzipien wie Fairness, Schadensminimierung oder dem Umgang mit Unsicherheit trainiert wurde und wie diese Prinzipien umgesetzt wurden. Falls nicht, kann er klar erklären, was das Modell daran hindert, in historische Ungleichheiten zurückzufallen.

Warum HR das fragen sollte: KI-Systeme sind nicht neutral. HR muss wissen, wessen Werte Empfehlungen prägen, die Jobs, Gehälter und Karrieren von Menschen betreffen.

Jon sagt: Technisch fragst du danach, ob der Anbieter bestimmte Techniken eingesetzt hat, um Fairness ins Modell einzubauen. Er sollte diese Techniken benennen können und nicht nur sagen "wir haben es darauf trainiert, fair zu sein". Das gilt umso mehr, als Fairness von Natur aus subjektiv ist. Frag außerdem: Wurden diese Prinzipien im Training eingebaut oder nur am Ende als Filter auf die Ausgaben gesetzt? Beides ist nützlich, aber Filter lassen sich leichter umgehen als tief antrainiertes Verhalten.

3. Welche Arten von Ausgaben soll das Modell verweigern? Wie wurden diese Grenzen festgelegt?

Wie eine gute Antwort klingt: Eine reife Antwort enthält konkrete Beispiele für Verweigerung (z. B. geschützte Merkmale ableiten, unbelegte Urteile über einzelne Personen fällen) und erklärt, wer diese Grenzen gesetzt hat und warum. Verweigerung gilt als Sicherheitsfunktion, nicht als Schwäche.

Warum HR das fragen sollte: Manche Fragen sollte ein System nicht beantworten. HR braucht Leitplanken, die illegale, unethische oder nicht vertretbare Ausgaben verhindern, bevor sie Menschen erreichen.

Jon sagt: Das ist eine sehr gute Frage, um ernsthafte Anbieter von denen zu trennen, die nicht gründlich über Sicherheit nachgedacht haben. Aus technischer Sicht sollte Verweigerungsverhalten dokumentiert und testbar sein. Frag, ob es eine dokumentierte Liste dessen gibt, was das System tut und nicht tut, und ob das System einem Stresstest unterzogen wurde, bei dem Menschen aktiv versucht haben, es zu knacken. Such außerdem einen Anbieter, der hart an der Balance arbeitet. Zu viel Verweigerung kann ein Tool nutzlos machen, zu wenig setzt dich Risiken aus.

4. Wie verhält sich das Modell bei Mehrdeutigkeit, unvollständigen Daten oder widersprüchlichen Signalen zu einer Person?

Wie eine gute Antwort klingt: Der Anbieter kann erklären, ob das Modell Unsicherheit kennzeichnet, um mehr Eingaben bittet, seine Sicherheit herunterstuft oder eine Empfehlung ablehnt. Starke Antworten räumen ein, dass Personaldaten oft unaufgeräumt sind. Entscheidend ist, dass der Anbieter bestätigt, dass das System bei unzureichenden Daten nicht trotzdem standardmäßig eine Empfehlung ausgibt. Ein System, das immer eine Antwort gibt, egal wie gut die Daten sind, verlagert Risiko auf HR, ohne es anzuzeigen.

Warum HR das fragen sollte: Raten bei Mehrdeutigkeit ist der Weg, auf dem sich Verzerrung und Unfairness einschleichen, und HR haftet für die Folgen.

Jon sagt: Diese Frage zielt auf etwas, das Entwickler "Kalibrierung" nennen: Weiß das System, was es nicht weiß? Ein gut gebautes System sollte Konfidenzwerte ausgeben oder Situationen mit geringer Sicherheit ausdrücklich kennzeichnen. Frag, ob das System zwischen "ich bin mir sehr sicher" und "das ist meine beste Schätzung" unterscheidet. Wenn jede Ausgabe gleich maßgeblich wirkt, ist das automatisch ein Warnzeichen.

5. Verändert sich das Verhalten des Modells mit der Zeit?

Wie eine gute Antwort klingt: Eine klare Erklärung, ob das Modell gleich bleibt oder sich weiterentwickelt, wie Updates und Feedback einfließen und welche Kontrollen unbeobachtete Drift verhindern. Starke Antworten unterscheiden gewollte Verbesserung von unkontrollierter Veränderung.

Warum HR das fragen sollte: Ein System, das sich ohne Sichtbarkeit weiterentwickelt, kann frühere Risikoprüfungen, Bias-Audits und Freigaben, die HR schon abgezeichnet hat, still entwerten.

Jon sagt: Hier würde ich hartnäckig nachbohren. Es gibt drei Arten von Veränderung: (1) Der Anbieter spielt eine neue Modellversion aus, (2) das Modell passt sich auf Basis des Feedbacks oder der Daten deiner Organisation an, oder (3) das Modell driftet still auf eine Weise, die niemand beabsichtigt hat. Du musst wissen, was davon passiert und wann. In der Welt des Programmierens gibt es Tools, die das aktiv überwachen, etwa https://marginlab.ai/trackers/claude-code/. In anderen Bereichen ist diese Art von Tracking aber lückenhaft und bei offenen, auf Menschen ausgerichteten Prozessen deutlich schwieriger.

Es ist nicht ungewöhnlich, dass Anbieter Parameter verändern oder Modellverhalten per A/B-Test prüfen. Das kann bei ähnlichen (oder identischen) Aufgaben zu deutlichen Unterschieden in der Ausführung führen.

Dazu passend: Wenn der Anbieter deine Daten nutzt, um das Modell zu verbessern, kommt diese Verbesserung dann auch anderen Kunden zugute? Das hat Folgen für die Vertraulichkeit.

6. Wie überwacht ihr unbeabsichtigtes Verhalten nach der Einführung? Woran würden wir als Kunde merken, dass sich etwas geändert hat?

Wie eine gute Antwort klingt: Der Anbieter beschreibt aktives, laufendes Monitoring auf seiner Seite: welche Signale er verfolgt, wie oft Prüfungen stattfinden und wer auf Probleme reagiert. Ebenso wichtig ist, dass er erklärt, welche Sichtbarkeit Kunden bekommen: Release Notes, Warnmeldungen, Versionshistorien, Auditberichte oder Dashboards. Eine starke Antwort behandelt Monitoring als gemeinsame Verantwortung und gibt HR die Informationen, die es für eigene Prüfungen braucht.

Warum HR das fragen sollte: Weil manche Risiken erst nach längerer Nutzung auftauchen und weil Systeme, die Mitarbeitende betreffen, regelmäßig geprüft werden müssen. HR kann diese Prüfung nur leisten, wenn der Anbieter auf Probleme achtet und Kunden informiert, sobald sich etwas ändert.

Jon sagt: Hier willst du wissen, wie oft und wie genau der Anbieter tatsächlich überwacht. Die laufende Kalibrierung dieser Modelle macht einen großen Teil ihres Werts aus, also solltest du sehr enge Feedbackschleifen sehen.

7. Wenn wir glauben, dass das Modell ungeeignete, verzerrte oder driftende Ausgaben liefert, wie können wir das melden? Was passiert dann?

Wie eine gute Antwort klingt: Ein definierter Melde- und Eskalationsprozess, klare Erwartungen an Reaktionszeit und Behebung und Transparenz darüber, wie Probleme untersucht und gelöst werden.

Warum HR das fragen sollte: Weil HR wissen muss, welche Möglichkeiten es hat, wenn etwas schiefgeht. Könnt ihr die betroffene Funktion pausieren oder abschalten, während das Problem untersucht wird? Stellt der Anbieter eine frühere Version wieder her? Wie lange seid ihr einem bekannten Problem womöglich ausgesetzt, und was solltet ihr Mitarbeitenden in der Zwischenzeit sagen? Bei dieser Frage geht es nicht nur ums Melden. Es geht darum zu verstehen, welche Handhabe ihr tatsächlich habt.

Jon sagt: Ich halte das weniger für eine technische Frage als für eine Frage der Beziehung. Gibt es einen einfachen Weg, Probleme zu melden und nachzuverfolgen, mit klaren Eskalationswegen und Transparenz?

8. Könnt ihr erklären, wie das Modell zu einer bestimmten Ausgabe gekommen ist, die einzelne Mitarbeitende oder Kandidaten betrifft?

Warum HR das fragen sollte: Wenn HR eine Entscheidung nicht erklären kann, kann es sie nicht verteidigen. Diese Frage wirkt unverzichtbar.

Aber hier ist die Feinheit: Bei komplexen KI-Systemen, vor allem solchen auf Basis großer Sprachmodelle (und das sind viele), ist volle Transparenz technisch oft unmöglich. Die Modelle denken nicht wie Menschen, und ihre inneren Abläufe lassen sich nicht immer in eine einfache Erzählung übersetzen. Wer perfekte Erklärbarkeit verlangt, weckt eine Erwartung, die Anbieter entweder mit zu großen Versprechen bedienen oder mit dem Ausweichmanöver "es ist eine Blackbox" umgehen.

Die bessere Frage: "Welchen Grad an Erklärung könnt ihr für einzelne Entscheidungen liefern, und reicht er aus, damit wir Mitarbeitenden Rede und Antwort stehen und die Dokumentationspflichten aus der entstehenden KI-Gesetzgebung erfüllen können?"

Wie eine gute Antwort klingt: Der Anbieter ist ehrlich, was die Grenzen der Erklärbarkeit angeht, kann aber beschreiben, was verfügbar ist: welche Eingaben stark ins Gewicht fielen, was die Ausgabe verändert hätte, Konfidenzwerte oder Audit-Trails. Starke Antworten setzen auf eine vernünftige Begründung, statt perfekte Transparenz zu behaupten oder sich hinter Komplexität zu verstecken.

Jon sagt: Erklärbarkeit ist eines der schwierigsten ungelösten Probleme der KI, also kalibriere deine Erwartungen. Meistens bekommst du keine saubere Antwort wie "das Modell hat diese Kandidatin wegen X abgelehnt". Was du vernünftigerweise verlangen kannst: welche Eingaben Einfluss hatten, wie hoch die Konfidenz war und ob das System alternative Deutungen anzeigen kann. Sei skeptisch bei Anbietern, die volle Erklärbarkeit behaupten. Die eigentliche Frage ist, ob du genug in der Hand hast, um eine vernünftige Begründung zu bauen, wenn jemand fragt: "Warum ist das passiert?"

9. Wo erwartet dieses System, dass ein Mensch die endgültige Entscheidung trifft? Wie unterstützt es dieses menschliche Urteil (statt es zu untergraben)?

Wie eine gute Antwort klingt: Der Anbieter kann klar benennen, welche Ausgaben Empfehlungen und welche Entscheidungen sind und wo eine Prüfung durch Menschen erwartet oder verlangt wird. Er kann erklären, wie das System Informationen so darstellt, dass sie menschliches Urteil unterstützen, etwa indem es Konfidenzwerte zeigt, Grenzfälle kennzeichnet oder Alternativen anbietet. Starke Antworten räumen ein, dass Menschen dazu neigen, KI-Empfehlungen zu übernehmen, und beschreiben, wie das System gebaut ist, damit es echte Prüfung fördert statt bloßes Abnicken.

Warum HR das fragen sollte: Weil "Human in the Loop" nur funktioniert, wenn der Mensch wirklich befugt ist, die Ausgabe des Systems zu überstimmen, zu hinterfragen oder abzulehnen. Wenn das System Empfehlungen als ausgemachte Sache präsentiert oder Abweichungen im Ablauf schwer macht, wird die Prüfung durch Menschen zum Theater, und HR haftet trotzdem für Ergebnisse, die es nicht wirklich in der Hand hatte.

Jon sagt: Das ist eine der wichtigsten Fragen auf der Liste, und sie wird oft übersehen. Oft geht es dabei mehr darum, wie die KI eingebunden und dargestellt wird, als um den Kern des Modells.

Frag aus Designsicht, wie Empfehlungen dargestellt werden: Zeigt das System eine Antwort oder eine Bandbreite von Optionen? Zeigt es Konfidenzwerte? Macht es das Überstimmen leicht oder schwer?

Menschen neigen dazu, sich KI-Ausgaben anzuschließen. Deshalb muss das Modell seine Grenzen und seine Konfidenz kennen und mitteilen (siehe Frage 4).

Es gibt Techniken, die hier helfen. Ein gut gebautes System wirkt dem aktiv entgegen, indem es eine Begründung für die Annahme verlangt (nicht nur für die Ablehnung), die Reihenfolge der Optionen zufällig wählt oder kennzeichnet, wenn die Konfidenz des Modells niedrig ist.

Wie eine gute Antwort klingt: Der Anbieter kann konkrete Unterlagen nennen, auf die sich HR stützen könnte, etwa Audit-Logs, Zusammenfassungen der Begründung, Versionshistorie oder Entscheidungspfade, und erklären, wie man darauf zugreift. Vielleicht liefert er auch übliche KI-Dokumentation wie Model Cards, Datenblätter oder Folgenabschätzungen, die beschreiben, wie das System funktioniert und welche Risiken bedacht wurden.

Warum HR das fragen sollte: Weil von Arbeitgebern zunehmend erwartet wird, zu dokumentieren und zu begründen, wie Entscheidungen zustande kommen, vor allem wenn automatisierte Systeme beteiligt sind.

Jon sagt: Das ist ebenso sehr eine Frage für Einkauf und Rechtsabteilung wie eine technische, aber auch Entwickler sollte sie interessieren. Frag, ob Audit-Logs vor Bearbeitung geschützt sind und wie lange sie aufbewahrt werden. Wenn du jemals rechtlich angegriffen wirst, musst du rekonstruieren, was das System zu einem bestimmten Zeitpunkt wusste und tat. Wenn der Anbieter das nicht liefern kann, übernimmst du die Dokumentationslast selbst.

HR weiß, wie kritisch diese Dokumentation ist. Der Anbieter vielleicht nicht.

11. Was passiert mit den Daten von Mitarbeitenden oder Kandidaten, nachdem sie verarbeitet wurden? Wie stellen wir sicher, dass sie gelöscht werden, wenn es angebracht ist?

Wie eine gute Antwort klingt: Der Anbieter kann seine Regeln zur Datenaufbewahrung klar erklären: welche Daten gespeichert werden, wo, wie lange und unter welchen Bedingungen. Er kann beschreiben, wie Löschanfragen bearbeitet werden, wie schnell sie umgesetzt werden und ob die Löschung vollständig ist oder Restdaten in Backups oder Trainingspipelines bleiben. Starke Antworten klären auch, ob Kundendaten jemals genutzt werden, um das Modell für andere Kunden zu verbessern, und vor allem, ob du dem komplett widersprechen kannst. Wenn ein Opt-out nicht möglich ist, solltest du das wissen, bevor du unterschreibst.

Warum HR das fragen sollte: Weil die Daten von Mitarbeitenden und Kandidaten nicht dem Anbieter gehören. Sie gehören den Menschen, die sie beschreiben, und unterliegen euren Richtlinien und dem geltenden Recht. HR muss wissen, dass Daten nicht länger als nötig aufbewahrt, nicht für andere als die offengelegten Zwecke genutzt und nicht unlöschbar werden, wenn jemand seine Rechte aus Datenschutzgesetzen wie DSGVO oder CCPA oder aus internen Richtlinien wahrnimmt.

Jon sagt: Bei dieser Frage geht es darum, wie Daten von Anfang bis Ende behandelt werden, und sie ist vielschichtiger, als sie klingt. Frag konkret: Werden Daten dauerhaft gespeichert oder nur im Moment genutzt und dann verworfen? Falls gespeichert: Sind sie verschlüsselt und zugriffsgeschützt? Nutzt der Anbieter Kundendaten, um Modelle neu zu trainieren oder zu verbessern, und ist das Opt-in oder Opt-out?

Wenn du nicht widersprechen kannst, frag, was mit deinen Daten passiert, wenn sie fürs Training genutzt werden: Womöglich lassen sie sich nicht mehr entfernen. Wir sehen auch Fälle, in denen solche Daten über die richtigen Prompts “zugänglich” sind. Bei frühen Versionen von Coding-Bots hat sich zum Beispiel gezeigt, dass sie im Training Zugriff auf private Codebasen hatten und deren Inhalte dann auf Prompts hin preisgaben. Siehe:

GitHub Copilot and secret leakage

Research on training data extraction

12. Bei welchen Risiken oder Schäden seid ihr nicht sicher, dass dieses System sie verhindern kann?

Wie eine gute Antwort klingt: Die stärksten Antworten räumen Grenzen ein. Der Anbieter kann Restrisiken, Grenzfälle oder Zielkonflikte benennen und erklären, wie Kunden sie bei der Einführung berücksichtigen sollten.

Warum HR das fragen sollte: Kein System ist risikofrei. HR muss die Risiken verstehen, die es steuern soll.

Jon sagt: Das ist meine Lieblingsfrage auf der Liste, weil sie intellektuelle Ehrlichkeit prüft. Jedes System kann auf bestimmte Weisen versagen. Die Frage ist, ob der Anbieter sie kennt und benennen kann. Ein guter Entwickler sagt dir: "Hier tut sich das Modell schwer. Bei dieser Gruppe sinkt die Genauigkeit. Diesen Grenzfall haben wir nicht gelöst." Wenn ein Anbieter sagt, sein System habe keine nennenswerten Risiken, hat er entweder nicht genau genug hingesehen oder ist nicht offen.

Bei Pyn sind wir überzeugt, dass HR-Führungskräfte klar sehen sollten, wie Technologie die Erfahrungen von Mitarbeitenden prägt, vor allem wenn KI im Spiel ist. Deshalb stellen wir Transparenz, Kontrolle und menschliche Aufsicht ins Zentrum unserer Plattform, und deshalb sind alle KI-Funktionen in Pyn grundsätzlich Opt-in. HR-Teams sollten entscheiden können, was genutzt wird, wann es genutzt wird und wie es sich auf ihre Leute auswirkt. Wenn du wissen willst, wie dieser Ansatz in der Praxis aussieht, kannst du Pyn hier erkunden.

Share