Nederlands
Een manager en een nieuwe collega zitten op een bank tijdens een informele 1:1 en bekijken samen een boek en een tablet.

12 vragen die HR-leiders aan AI-leveranciers moeten stellen

HR-leiders proberen AI-tools te beoordelen zonder duidelijk houvast over hoe goede antwoorden van leveranciers er echt uitzien. Dit artikel zet de vragen die ertoe doen op een rij en laat zien hoe je de antwoorden leest.

Toen HR-leiders AI-tools gingen beoordelen, zochten velen het gaandeweg uit. Ze vroegen hun netwerk waar ze op moesten letten, waarover ze zich zorgen moesten maken en welke vragen ze leveranciers konden stellen. Ik zag steeds dezelfde vragen terugkomen, maar zelden was duidelijk hoe goede antwoorden eigenlijk moeten klinken. Daarom nam ik ze door met Jon Williams, medeoprichter en lead engineer van Pyn, die de afgelopen 15 jaar HR-techproducten heeft gebouwd. Het doel is niet om van HR AI-experts te maken, maar om duidelijkere signalen te geven: waar antwoorden van leveranciers echte volwassenheid laten zien, waar ze zorgen moeten wekken en waar het redelijk is om door te vragen.

1. Met welke data is dit model getraind, en welke data is uitdrukkelijk uitgesloten?

Waarom HR dit moet vragen: Dit is een van de vragen die HR-leiders het vaakst wordt aangeraden, en het instinct erachter klopt: trainingsdata bepaalt de uitkomsten. Als er bevooroordeelde of ongepaste data in zit, moet HR beslissingen uitleggen en verdedigen die het niet zelf heeft ontworpen.

Maar hier zit de nuance: De meeste AI-tools in HR zijn gebouwd op basismodellen (de onderliggende systemen van bedrijven als OpenAI, Anthropic of Google waarop veel HR-tools draaien), en die modellen zijn allemaal getraind op grofweg dezelfde data: enorme hoeveelheden rommelige tekst van internet. Een leverancier vragen met welke data het basismodel is getraind, onderscheidt goede leveranciers meestal niet van slechte.

De betere vraag: "Wat is er na de eerste training met dit model gedaan om het geschikt te maken voor HR-beslissingen, en welke data of principes zijn daarbij gebruikt?"

Hoe een goed antwoord klinkt: De leverancier kan uitleggen welk werk er is gedaan nadat het basismodel was gemaakt: extra training gericht op HR-toepassingen, veiligheidstests of regels die ongepaste uitkomsten wegfilteren. De leverancier kan benoemen welke data in die fase is gebruikt, wat uitdrukkelijk is uitgesloten (bijv. gescrapete cv's, afgeleide beschermde kenmerken) en wie die beslissingen heeft genomen.

Jon zegt: Basismodellen zijn allemaal getraind op data op de schaal van internet, en daar zit veel rommel tussen. Dat geldt voor de hele branche. Wat er echt toe doet, is het werk na de training: extra training, veiligheidstests en de kaders die eroverheen zijn gelegd. Daar onderscheiden leveranciers zich, en daar moet je je onderzoek op richten. Als een leverancier niet duidelijk kan uitleggen wat er is gedaan nadat het basismodel was gebouwd, verkoopt die ofwel een generiek model door met minimale aanpassing, ofwel heeft die het werk niet gedaan om het veilig te maken voor HR.

2. Is dit model getraind om oneerlijke of discriminerende uitkomsten te vermijden? Zo ja, hoe?

Hoe een goed antwoord klinkt: De leverancier kan in gewone taal uitleggen of het model is getraind met principes als eerlijkheid, het beperken van schade of omgaan met onzekerheid, en hoe die principes in de praktijk zijn gebracht. Zo niet, dan kan de leverancier duidelijk uitleggen wat voorkomt dat het model terugvalt op historische ongelijkheid.

Waarom HR dit moet vragen: AI-systemen zijn niet neutraal. HR moet weten wiens waarden de aanbevelingen bepalen die de baan, het salaris en de loopbaan van mensen raken.

Jon zegt: Technisch gezien vraag je of de leverancier specifieke technieken heeft gebruikt om eerlijkheid in het model te bouwen. Die technieken moeten ze kunnen noemen, niet alleen zeggen "we hebben het getraind om eerlijk te zijn". Dat geldt des te meer omdat eerlijkheid per definitie subjectief is. Vraag ook: zijn deze principes tijdens de training ingebouwd, of pas aan het einde toegevoegd als filter op de uitkomsten? Beide zijn nuttig, maar filters zijn makkelijker te omzeilen dan diep getraind gedrag.

3. Welke soorten uitkomsten is het model ontworpen om te weigeren? Hoe zijn die grenzen bepaald?

Hoe een goed antwoord klinkt: Een volwassen antwoord bevat concrete voorbeelden van weigering (bijv. beschermde kenmerken afleiden, ongefundeerde oordelen over personen vellen) en legt uit wie die grenzen heeft gesteld en waarom. Weigeren wordt behandeld als een veiligheidsfunctie, niet als een zwakte.

Waarom HR dit moet vragen: Sommige vragen horen niet door een systeem te worden beantwoord. HR heeft kaders nodig die illegale, onethische of onverdedigbare uitkomsten tegenhouden voordat ze mensen bereiken.

Jon zegt: Dit is een goede vraag om serieuze leveranciers te scheiden van leveranciers die niet diep over veiligheid hebben nagedacht. Vanuit engineering gezien moet weigergedrag gedocumenteerd en testbaar zijn. Vraag of ze een gedocumenteerde lijst hebben van wat het systeem wel en niet doet, en of ze het systeem aan een stresstest hebben onderworpen door mensen actief te laten proberen het stuk te maken. Zoek ook een leverancier die hard werkt aan de balans. Te veel weigeren maakt een tool nutteloos; te weinig weigeren stelt je bloot aan risico.

4. Hoe gedraagt het model zich bij onduidelijkheid, onvolledige data of tegenstrijdige signalen over een persoon?

Hoe een goed antwoord klinkt: De leverancier kan uitleggen of het model onzekerheid signaleert, om meer input vraagt, minder stellig wordt of afziet van een aanbeveling. Sterke antwoorden erkennen dat data over mensen vaak rommelig is. Cruciaal: de leverancier moet bevestigen dat het systeem bij onvoldoende data niet toch standaard een aanbeveling geeft. Een systeem dat altijd een antwoord geeft, ongeacht de kwaliteit van de data, schuift risico naar HR zonder dat te melden.

Waarom HR dit moet vragen: Gokken bij onduidelijkheid is hoe vooroordelen en oneerlijkheid binnensluipen, en HR is aansprakelijk voor de gevolgen.

Jon zegt: Deze vraag raakt aan iets wat engineers "kalibratie" noemen: weet het systeem wat het niet weet? Een goed ontworpen systeem geeft betrouwbaarheidsniveaus of signaleert uitdrukkelijk situaties met weinig zekerheid. Vraag of het systeem onderscheid maakt tussen "ik ben hier zeker van" en "dit is mijn beste gok". Als elke uitkomst er even gezaghebbend uitziet, is dat meteen een rode vlag.

5. Verandert het gedrag van het model in de loop van de tijd?

Hoe een goed antwoord klinkt: Een duidelijke uitleg of het model hetzelfde blijft of zich ontwikkelt, hoe updates en feedback worden verwerkt en welke controles er zijn om ongecontroleerde drift te voorkomen. Sterke antwoorden maken onderscheid tussen bewuste verbetering en ongecontroleerde verandering.

Waarom HR dit moet vragen: Een systeem dat verandert zonder dat je het ziet, kan ongemerkt eerdere risicobeoordelingen, bias-audits en goedkeuringen waarvoor HR al heeft getekend ongeldig maken.

Jon zegt: Hier zou ik stevig doorvragen. Er zijn drie soorten verandering: (1) de leverancier brengt een nieuwe modelversie uit, (2) het model past zich aan op basis van de feedback of data van je organisatie, of (3) het model drijft ongemerkt af op manieren die niemand heeft bedoeld. Je moet weten welke van deze gebeurt en wanneer. In de wereld van code hebben we tools die dit actief volgen, zoals https://marginlab.ai/trackers/claude-code/. Maar in andere domeinen is zulke tracking onvolledig, en bij open, op mensen gerichte processen is het veel lastiger.

Het komt regelmatig voor dat leveranciers parameters bijstellen of modelgedrag A/B-testen. Dat kan leiden tot grote verschillen in de uitvoering van vergelijkbare (of identieke) taken.

Hiermee samenhangend: als ze jouw data gebruiken om het model te verbeteren, komt die verbetering dan ook bij andere klanten terecht? Dat heeft gevolgen voor de vertrouwelijkheid.

6. Hoe houden jullie na de ingebruikname onbedoeld gedrag in de gaten? Hoe weten wij als klant dat er iets is veranderd?

Hoe een goed antwoord klinkt: De leverancier beschrijft actieve, doorlopende monitoring aan de eigen kant, inclusief welke signalen worden gevolgd, hoe vaak er wordt beoordeeld en wie op problemen reageert. Net zo belangrijk: de leverancier legt uit welk zicht klanten krijgen: release notes, meldingen, versiegeschiedenis, auditrapporten of dashboards. Een sterk antwoord behandelt monitoring als een gedeelde verantwoordelijkheid en geeft HR de informatie die het nodig heeft om zelf te beoordelen.

Waarom HR dit moet vragen: Omdat sommige risico's pas opduiken na langdurig gebruik, en omdat systemen die medewerkers raken regelmatig moeten worden beoordeeld. HR kan dat alleen doen als de leverancier op problemen let en klanten op de hoogte houdt als er iets verandert.

Jon zegt: Hier wil je weten hoe vaak en hoe gedetailleerd ze echt monitoren. De doorlopende kalibratie van deze modellen is een groot deel van hun waarde, dus je zou heel korte feedbackloops moeten zien.

7. Als wij denken dat het model ongepaste, bevooroordeelde of afdrijvende uitkomsten geeft, hoe kunnen we dat melden? Wat gebeurt er daarna?

Hoe een goed antwoord klinkt: Een vastgelegd proces voor melden en escaleren, duidelijke verwachtingen over reactietijd en herstel, en openheid over hoe problemen worden onderzocht en opgelost.

Waarom HR dit moet vragen: Omdat HR moet weten welke opties er zijn als er iets misgaat. Kun je de betreffende functie pauzeren of uitzetten terwijl het probleem wordt onderzocht? Zet de leverancier een eerdere versie terug? Hoe lang kun je aan een bekend probleem blootstaan, en wat vertel je medewerkers in de tussentijd? Deze vraag gaat niet alleen over melden. Ze gaat over begrijpen welke middelen je echt hebt.

Jon zegt: Ik denk dat dit minder een technische kwestie is dan een kwestie van de relatie. Hebben ze een eenvoudige manier om problemen te melden en te volgen, met duidelijke escalatiepaden en openheid?

8. Kunnen jullie uitleggen hoe het model tot een specifieke uitkomst kwam die een individuele medewerker of kandidaat raakt?

Waarom HR dit moet vragen: Als HR een beslissing niet kan uitleggen, kan het die niet verdedigen. Deze vraag voelt essentieel.

Maar hier zit de nuance: Bij complexe AI-systemen, zeker systemen die op grote taalmodellen zijn gebouwd (en dat zijn er veel), is volledige transparantie vaak technisch onmogelijk. De modellen redeneren niet zoals mensen, en hun interne werking is niet altijd te vertalen naar een eenvoudig verhaal. Vragen om perfecte uitlegbaarheid schept een verwachting die leveranciers ofwel met te grote beloftes proberen waar te maken, ofwel ontwijken met "het is een black box".

De betere vraag: "Welk niveau van uitleg kunnen jullie geven bij individuele beslissingen, en is dat genoeg om ons tegenover medewerkers te verantwoorden en te voldoen aan de documentatie-eisen in de AI-wetgeving die eraan komt?"

Hoe een goed antwoord klinkt: De leverancier is eerlijk over de grenzen van uitlegbaarheid, maar kan beschrijven wat er wel beschikbaar is: welke input zwaar woog, wat de uitkomst zou hebben veranderd, betrouwbaarheidsniveaus of audit trails. Sterke antwoorden richten zich op een redelijke onderbouwing, in plaats van perfecte transparantie te claimen of zich achter complexiteit te verschuilen.

Jon zegt: Uitlegbaarheid is een van de moeilijkste onopgeloste problemen in AI, dus stel je verwachtingen bij. Meestal krijg je geen net antwoord in de trant van "het model wees deze kandidaat af vanwege X". Waar je wel redelijkerwijs om kunt vragen: welke input invloed had, wat het betrouwbaarheidsniveau was en of het systeem alternatieve interpretaties kan laten zien. Wees sceptisch over leveranciers die volledige uitlegbaarheid claimen. De echte vraag is of je genoeg hebt om een redelijke onderbouwing te geven als iemand vraagt "waarom is dit gebeurd?"

9. Waar verwacht dit systeem dat een mens de eindbeslissing neemt? Hoe ondersteunt het dat menselijke oordeel (in plaats van het te ondermijnen)?

Hoe een goed antwoord klinkt: De leverancier kan duidelijk aangeven welke uitkomsten aanbevelingen zijn en welke beslissingen, en waar menselijke beoordeling wordt verwacht of verplicht is. De leverancier kan uitleggen hoe het systeem informatie presenteert om het menselijke oordeel te ondersteunen, bijvoorbeeld door betrouwbaarheidsniveaus te tonen, randgevallen te signaleren of alternatieven te laten zien. Sterke antwoorden erkennen dat mensen geneigd zijn aanbevelingen van AI over te nemen, en beschrijven hoe het systeem is ontworpen om een echte beoordeling te stimuleren in plaats van een stempel erop.

Waarom HR dit moet vragen: Omdat "human in the loop" alleen werkt als de mens echt de ruimte heeft om de uitkomst van het systeem te overrulen, te bevragen of af te wijzen. Als het systeem aanbevelingen presenteert als uitgemaakte zaak, of het procedureel moeilijk maakt om ervan af te wijken, wordt de menselijke beoordeling toneel, en blijft HR aansprakelijk voor uitkomsten waarover het niet echt de controle had.

Jon zegt: Dit is een van de belangrijkste vragen op de lijst, en ze wordt vaak over het hoofd gezien. En het gaat vaak meer over hoe de AI is geïntegreerd en gepresenteerd dan over de kernwerking van het model.

Vraag vanuit het ontwerp hoe aanbevelingen worden gepresenteerd: toont het systeem één antwoord of een reeks opties? Laat het betrouwbaarheidsniveaus zien? Maakt het overrulen makkelijk of moeilijk?

Mensen hebben de neiging om uitkomsten van AI te volgen. Dat betekent dat het model zijn grenzen en zijn betrouwbaarheidsniveau moet kennen en moet meedelen (zie vraag 4).

Er zijn technieken die hierbij helpen. Een goed ontworpen systeem gaat dit actief tegen door een onderbouwing te vragen bij acceptatie (niet alleen bij afwijzing), de volgorde van opties willekeurig te maken of te signaleren wanneer het model weinig zekerheid heeft.

Hoe een goed antwoord klinkt: De leverancier kan concreet materiaal noemen waarop HR kan steunen, zoals audit logs, samenvattingen van de onderbouwing, versiegeschiedenis of sporen van beslissingen, en uitleggen hoe je erbij komt. Misschien levert de leverancier ook standaarddocumentatie voor AI, zoals model cards, data sheets of impact assessments, die beschrijven hoe het systeem werkt en welke risico's zijn meegewogen.

Waarom HR dit moet vragen: Omdat van werkgevers steeds vaker wordt verwacht dat ze vastleggen en verantwoorden hoe beslissingen worden genomen, zeker als er geautomatiseerde systemen bij betrokken zijn.

Jon zegt: Dit is evenzeer een vraag voor inkoop en juridische zaken als een technische vraag, maar ook engineers zouden zich hierom moeten bekommeren. Vraag of audit logs tegen bewerking zijn beschermd en hoe lang ze worden bewaard. Als je ooit juridisch wordt aangesproken, moet je kunnen reconstrueren wat het systeem op een bepaald moment wist en deed. Als ze dit niet kunnen leveren, neem je de documentatielast zelf op je.

HR weet hoe cruciaal deze documentatie is. De leverancier misschien niet.

11. Wat gebeurt er met data van medewerkers of kandidaten nadat die is verwerkt? Hoe zorgen we dat die wordt verwijderd wanneer dat hoort?

Hoe een goed antwoord klinkt: De leverancier kan het bewaarbeleid duidelijk uitleggen: welke data wordt opgeslagen, waar, hoe lang en onder welke voorwaarden. De leverancier kan beschrijven hoe verwijderverzoeken worden afgehandeld, hoe snel ze worden uitgevoerd en of de verwijdering volledig is of dat er data achterblijft in back-ups of trainingspijplijnen. Sterke antwoorden maken ook duidelijk of klantdata ooit wordt gebruikt om het model voor andere klanten te verbeteren, en vooral of je daar helemaal van kunt afzien. Als afzien geen optie is, wil je dat weten voordat je tekent.

Waarom HR dit moet vragen: Omdat data van medewerkers en kandidaten niet van de leverancier is. Die data is van de mensen die ze beschrijft, en valt onder jouw beleid en de geldende wetgeving. HR moet weten dat data niet langer wordt bewaard dan nodig, niet wordt gebruikt voor andere doelen dan gemeld, en niet onmogelijk te verwijderen is als iemand zijn rechten uitoefent onder privacywetten zoals de AVG of de CCPA, of onder intern beleid.

Jon zegt: Dit is een vraag over hoe data van begin tot eind wordt behandeld, en ze is genuanceerder dan ze klinkt. Vraag specifiek: wordt data permanent opgeslagen, of alleen op het moment zelf gebruikt en daarna weggegooid? Als ze wordt opgeslagen, is ze dan versleuteld en is de toegang beperkt? Gebruikt de leverancier klantdata om modellen opnieuw te trainen of te verbeteren, en is dat opt-in of opt-out?

Als je er niet van kunt afzien, vraag dan wat er met je data gebeurt als die voor training wordt gebruikt: het kan onmogelijk worden om ze te verwijderen. We zien ook gevallen waarin die data met de juiste prompts “toegankelijk” is. Van vroege versies van codeerbots is bijvoorbeeld aangetoond dat ze bij de training toegang hadden tot privécodebases en de inhoud daarvan via prompts prijsgaven. Zie:

GitHub Copilot and secret leakage

Research on training data extraction

12. Van welke risico's of schade zijn jullie er niet zeker van dat dit systeem ze kan voorkomen?

Hoe een goed antwoord klinkt: De sterkste antwoorden erkennen grenzen. De leverancier kan restrisico's, randgevallen of afwegingen noemen en uitleggen hoe klanten daar bij de ingebruikname rekening mee houden.

Waarom HR dit moet vragen: Geen enkel systeem is zonder risico. HR moet de risico's begrijpen die het moet beheersen.

Jon zegt: Dit is mijn favoriete vraag op de lijst, omdat ze test op intellectuele eerlijkheid. Elk systeem kan op bepaalde manieren falen. De vraag is of de leverancier die kent en kan benoemen. Een goede engineer vertelt je: "Hier heeft het model moeite. Dit is de groep waarbij de nauwkeurigheid daalt. Dit is het randgeval dat we niet hebben opgelost." Als een leverancier zegt dat het systeem geen risico's van betekenis heeft, heeft die niet goed genoeg gekeken of is die niet open.

Bij Pyn vinden we dat HR-leiders duidelijk moeten kunnen zien hoe technologie de ervaring van medewerkers bepaalt, zeker als er AI bij komt kijken. Daarom ontwerpen we ons platform met transparantie, controle en menselijk toezicht als uitgangspunt, en daarom zijn alle AI-functies in Pyn standaard opt-in. HR-teams moeten kunnen beslissen wat er wordt gebruikt, wanneer, en wat het voor hun mensen betekent. Ben je benieuwd hoe deze aanpak er in de praktijk uitziet? Bekijk Pyn hier.

Share