
12 preguntas que los líderes de RR. HH. deberían hacer a los proveedores de IA
Los líderes de RR. HH. intentan evaluar herramientas de IA sin una orientación clara sobre cómo es de verdad una buena respuesta de un proveedor. Este artículo desglosa las preguntas que importan y cómo interpretar las respuestas.
Cuando los líderes de RR. HH. empezaron a evaluar herramientas de IA, muchos fueron aprendiendo sobre la marcha. Preguntaban a su red de contactos en qué fijarse, de qué preocuparse y qué preguntas tenía sentido hacer a los proveedores. Yo veía repetirse las mismas preguntas, pero con poca claridad sobre cómo debería sonar una buena respuesta. Así que las repasé con Jon Williams, cofundador e ingeniero principal de Pyn, que lleva 15 años construyendo productos de tecnología de RR. HH. El objetivo no es convertir a RR. HH. en expertos en IA, sino ofrecer señales más claras: dónde las respuestas de un proveedor reflejan madurez real, dónde deberían preocuparte y dónde es razonable pedir más detalle.
1. ¿Qué datos se usaron para entrenar este modelo, y qué datos se excluyeron de forma explícita?
Por qué RR. HH. debería preguntarlo: Es una de las preguntas que más se recomienda hacer a los líderes de RR. HH., y la intuición que hay detrás es acertada: los datos de entrenamiento condicionan los resultados. Si el modelo lleva dentro datos sesgados o inapropiados, RR. HH. acabará explicando y defendiendo decisiones que no diseñó.
Pero hay un matiz: La mayoría de las herramientas de IA para RR. HH. se construyen sobre modelos base de IA (los sistemas de empresas como OpenAI, Anthropic o Google sobre los que se apoyan muchas herramientas de RR. HH.), y todos esos modelos se entrenan con datos muy parecidos: cantidades enormes de texto desordenado de internet. Preguntar a un proveedor con qué datos se entrenó el modelo base no suele servir para distinguir a los buenos proveedores de los malos.
La pregunta que conviene hacer: "¿Qué se le hizo a este modelo después de su entrenamiento inicial para que sea apropiado para decisiones de RR. HH., y qué datos o principios se usaron en ese proceso?"
Cómo suena una buena respuesta: El proveedor puede explicar qué trabajo se hizo después de crear el modelo base: entrenamiento adicional centrado en casos de uso de RR. HH., pruebas de seguridad o reglas que filtran las respuestas inapropiadas. Puede decir qué datos se usaron en esa fase, qué se excluyó de forma explícita (p. ej., currículums extraídos de la web, características protegidas inferidas) y quién tomó esas decisiones.
Jon dice: Todos los modelos base de IA se entrenan con datos a escala de internet, que incluyen mucha basura. Eso pasa en todo el sector. Lo que de verdad importa es el trabajo posterior al entrenamiento: el entrenamiento adicional, las pruebas de seguridad y los límites que se añaden por encima. Ahí es donde se diferencian los proveedores, y ahí es donde debes centrar tu análisis. Si un proveedor no puede explicar con claridad qué hizo después de que se construyera el modelo base, o está revendiendo un modelo genérico con una adaptación mínima o no ha hecho el trabajo necesario para que sea seguro en contextos de RR. HH.
2. ¿Se entrenó este modelo para evitar resultados injustos o discriminatorios? Si es así, ¿cómo?
Cómo suena una buena respuesta: El proveedor puede explicar, en lenguaje llano, si el modelo se entrenó con principios como la equidad, la minimización del daño o la gestión de la incertidumbre, y cómo se llevaron esos principios a la práctica. Si no, puede explicar con claridad qué impide que el modelo reproduzca por defecto las desigualdades históricas.
Por qué RR. HH. debería preguntarlo: Los sistemas de IA no son neutrales. RR. HH. necesita saber de quién son los valores que dan forma a recomendaciones que afectan al empleo, al salario y a la carrera de las personas.
Jon dice: Técnicamente, lo que estás preguntando es si el proveedor usó técnicas concretas para incorporar la equidad al modelo. Debería poder nombrar esas técnicas, no limitarse a decir "lo entrenamos para que sea justo". Más aún porque la equidad es subjetiva por naturaleza. Pregunta también: ¿esos principios se incorporaron durante el entrenamiento o solo se añadieron al final, como un filtro sobre las respuestas? Aunque ambas cosas son útiles, los filtros son más fáciles de esquivar que los comportamientos entrenados a fondo.
3. ¿Qué tipos de respuestas está diseñado para rechazar el modelo? ¿Cómo se definieron esos límites?
Cómo suena una buena respuesta: Una respuesta madura incluye ejemplos concretos de rechazo (p. ej., inferir características protegidas, emitir juicios sin fundamento sobre personas) y explica quién fijó esos límites y por qué. El rechazo se trata como una función de seguridad, no como una debilidad.
Por qué RR. HH. debería preguntarlo: Hay preguntas a las que un sistema no debería responder. RR. HH. necesita límites que impidan que respuestas ilegales, poco éticas o indefendibles lleguen a las personas.
Jon dice: Es una muy buena pregunta para separar a los proveedores serios de los que no han pensado a fondo en la seguridad. Desde el punto de vista de la ingeniería, los comportamientos de rechazo deberían estar documentados y poder probarse. Pregunta si tienen una lista documentada de lo que el sistema hace y no hace, y si lo han sometido a pruebas de estrés con gente intentando romperlo activamente. Busca también un proveedor que se esfuerce por lograr el equilibrio. Rechazar de más puede hacer inútil una herramienta; rechazar de menos te expone a riesgos.
4. ¿Cómo se comporta el modelo cuando encuentra ambigüedad, datos incompletos o señales contradictorias sobre una persona?
Cómo suena una buena respuesta: El proveedor puede explicar si el modelo señala la incertidumbre, pide más información, reduce su confianza o se abstiene de hacer una recomendación. Las buenas respuestas reconocen que los datos de personas suelen ser desordenados. Y, sobre todo, el proveedor debería confirmar que el sistema no produce por defecto una recomendación de todos modos cuando los datos son insuficientes. Un sistema que siempre da una respuesta, sea cual sea la calidad de los datos, está trasladando el riesgo a RR. HH. sin avisar.
Por qué RR. HH. debería preguntarlo: Adivinar ante la ambigüedad es como se cuelan el sesgo y la injusticia, y RR. HH. responde de las consecuencias.
Jon dice: Esta pregunta apunta a algo que los ingenieros llaman "calibración": ¿sabe el sistema lo que no sabe? Un sistema bien diseñado debería mostrar niveles de confianza o señalar de forma explícita las situaciones de poca certeza. Pregunta si el sistema distingue entre "tengo mucha confianza" y "estoy haciendo mi mejor suposición". Si todas las respuestas parecen igual de categóricas, es una señal de alarma automática.
5. ¿Cambia el comportamiento del modelo con el tiempo?
Cómo suena una buena respuesta: Una explicación clara de si el modelo permanece igual o evoluciona, de cómo se incorporan las actualizaciones y el feedback, y de qué controles existen para evitar una deriva sin supervisión. Las buenas respuestas distinguen la mejora intencionada del cambio sin control.
Por qué RR. HH. debería preguntarlo: Un sistema que evoluciona sin visibilidad puede invalidar en silencio revisiones de riesgos, auditorías de sesgo y aprobaciones que RR. HH. ya había firmado.
Jon dice: Aquí es donde yo insistiría mucho. Hay tres tipos de cambio: (1) el proveedor publica una nueva versión del modelo, (2) el modelo se adapta a partir del feedback o los datos de tu organización, o (3) el modelo deriva en silencio de formas que nadie pretendía. Necesitas saber cuál de ellos está ocurriendo y cuándo. En el mundo de la programación tenemos herramientas que lo vigilan activamente, como https://marginlab.ai/trackers/claude-code/; sin embargo, este tipo de seguimiento es incompleto en otros ámbitos y mucho más difícil en procesos abiertos y orientados a personas.
No es raro que los proveedores ajusten parámetros o hagan pruebas A/B del comportamiento del modelo. Eso puede generar una variación importante al ejecutar tareas parecidas (o idénticas).
Relacionado con esto: si usan tus datos para mejorar el modelo, ¿esa mejora llega a otros clientes? Eso tiene implicaciones de confidencialidad.
6. ¿Cómo vigiláis los comportamientos no deseados después del despliegue? ¿Cómo sabríamos nosotros, como clientes, si algo ha cambiado?
Cómo suena una buena respuesta: El proveedor describe una supervisión activa y continua por su parte, que incluye qué señales sigue, con qué frecuencia se hacen revisiones y quién responde a las incidencias. Igual de importante: explica qué visibilidad tienen los clientes, ya sean notas de versión, alertas, historiales de versiones, informes de auditoría o paneles. Una buena respuesta trata la supervisión como una responsabilidad compartida y da a RR. HH. la información que necesita para hacer sus propias revisiones.
Por qué RR. HH. debería preguntarlo: Porque algunos riesgos solo aparecen tras un uso prolongado, y porque los sistemas que afectan a los empleados necesitan una revisión periódica. RR. HH. solo puede hacer esa revisión si el proveedor vigila los problemas y mantiene informados a los clientes cuando algo cambia.
Jon dice: En este caso, lo que quieres saber es con qué frecuencia y con qué detalle vigilan realmente. La calibración continua de estos modelos es buena parte de su valor, así que deberías ver ciclos de feedback muy cortos.
7. Si creemos que el modelo está dando respuestas inapropiadas, sesgadas o a la deriva, ¿cómo podemos comunicarlo? ¿Qué pasará después?
Cómo suena una buena respuesta: Un proceso definido de comunicación y escalado, expectativas claras de tiempo de respuesta y de corrección, y transparencia sobre cómo se investigan y resuelven las incidencias.
Por qué RR. HH. debería preguntarlo: Porque cuando algo sale mal, RR. HH. necesita saber qué opciones tiene. ¿Puedes pausar o desactivar la función afectada mientras se investiga el problema? ¿Volverá el proveedor a una versión anterior? ¿Cuánto tiempo puedes estar expuesto a un problema conocido y qué deberías decir a los empleados mientras tanto? Esta pregunta no va solo de comunicar incidencias: va de entender qué recursos tienes de verdad.
Jon dice: Creo que esto es menos un asunto técnico que de relación. ¿Tienen una forma fácil de comunicar incidencias y seguirlas, con vías de escalado claras y transparencia?
8. ¿Podéis explicar cómo llegó el modelo a un resultado concreto que afecta a un empleado o a un candidato?
Por qué RR. HH. debería preguntarlo: Si RR. HH. no puede explicar una decisión, no puede defenderla. Esta pregunta parece esencial.
Pero hay un matiz: En los sistemas de IA complejos, sobre todo los construidos sobre grandes modelos de lenguaje (que son muchos), la transparencia total suele ser técnicamente imposible. Los modelos no razonan como las personas, y su funcionamiento interno no siempre se puede traducir a un relato sencillo. Pedir una explicabilidad perfecta crea una expectativa que los proveedores satisfarán prometiendo de más o esquivarán con la evasiva de "es una caja negra".
La pregunta que conviene hacer: "¿Qué nivel de explicación podéis dar sobre decisiones individuales, y basta para que podamos responder ante los empleados y cumplir los requisitos de documentación de la nueva legislación sobre IA?"
Cómo suena una buena respuesta: El proveedor es honesto sobre los límites de la explicabilidad, pero puede describir lo que sí está disponible: qué datos de entrada pesaron más, qué habría cambiado el resultado, los niveles de confianza o los registros de auditoría. Las buenas respuestas se centran en una justificación razonable, en lugar de presumir de transparencia perfecta o de esconderse tras la complejidad.
Jon dice: La explicabilidad es uno de los problemas sin resolver más difíciles de la IA, así que ajusta tus expectativas. La mayoría de las veces no vas a conseguir una respuesta limpia del tipo "el modelo rechazó a este candidato por X". Lo que sí puedes pedir de forma razonable: qué datos de entrada influyeron, cuál era el nivel de confianza y si el sistema puede mostrar interpretaciones alternativas. Desconfía de los proveedores que aseguran tener una explicabilidad total. La verdadera pregunta es si tendrás lo suficiente para construir una justificación razonable cuando alguien pregunte "¿por qué pasó esto?".
9. ¿Dónde espera este sistema que una persona tome la decisión final? ¿Cómo apoya (en lugar de debilitar) ese criterio humano?
Cómo suena una buena respuesta: El proveedor puede identificar con claridad qué resultados son recomendaciones y cuáles decisiones, y dónde se espera o se exige la revisión humana. Puede explicar cómo presenta el sistema la información para apoyar el criterio humano, por ejemplo mostrando niveles de confianza, señalando casos límite o proponiendo opciones alternativas. Las buenas respuestas reconocen que las personas pueden tender a aceptar las recomendaciones de la IA, y describen cómo está diseñado el sistema para fomentar una revisión real y no un simple visto bueno.
Por qué RR. HH. debería preguntarlo: Porque lo de "una persona en el circuito" solo funciona si esa persona tiene de verdad la capacidad de anular, cuestionar o rechazar el resultado del sistema. Si el sistema presenta las recomendaciones como conclusiones inevitables o hace difícil, por procedimiento, apartarse de ellas, la revisión humana se convierte en teatro, y RR. HH. sigue respondiendo de resultados que en realidad no controló.
Jon dice: Es una de las preguntas más importantes de la lista, y a menudo se pasa por alto. Y muchas veces tiene más que ver con cómo se integra y se presenta la IA que con el funcionamiento central del modelo.
Desde el punto de vista del diseño, pregunta cómo se presentan las recomendaciones: ¿el sistema muestra una sola respuesta o un abanico de opciones? ¿Muestra niveles de confianza? ¿Hace fácil o difícil anularlas?
La gente tiende a dar por buenas las respuestas de la IA, lo que significa que el modelo tiene que entender y comunicar sus límites y su nivel de confianza (mira la pregunta 4).
Hay técnicas que ayudan. Un sistema bien diseñado contrarresta activamente esta tendencia exigiendo una justificación para aceptar (no solo para rechazar), aleatorizando el orden de las opciones o avisando cuando la confianza del modelo es baja.
10. ¿Qué documentación o qué materiales hay disponibles para apoyar la revisión interna, las preguntas de los empleados o el escrutinio legal?
Cómo suena una buena respuesta: El proveedor puede nombrar materiales concretos en los que RR. HH. podría apoyarse, como registros de auditoría, resúmenes de la justificación, historial de versiones o trazas de decisión, y explicar cómo se accede a ellos. También puede aportar documentación estándar de IA, como model cards, fichas de datos o evaluaciones de impacto, que describen cómo funciona el sistema y qué riesgos se tuvieron en cuenta.
Por qué RR. HH. debería preguntarlo: Porque cada vez más se espera que las empresas documenten y justifiquen cómo se toman las decisiones, sobre todo cuando intervienen sistemas automatizados.
Jon dice: Es una pregunta de compras y legal tanto como técnica, pero a los ingenieros también debería importarles. Pregunta si los registros de auditoría están protegidos contra la edición y cuánto tiempo se conservan. Si alguna vez te enfrentas a una reclamación legal, tendrás que reconstruir qué sabía y qué hizo el sistema en un momento concreto. Si no pueden aportarlo, estás asumiendo tú la carga de la documentación.
RR. HH. sabe lo crítica que es esta documentación. Puede que el proveedor no.
11. ¿Qué pasa con los datos de empleados o candidatos después de procesarlos? ¿Cómo podemos asegurarnos de que se eliminan cuando corresponde?
Cómo suena una buena respuesta: El proveedor puede explicar con claridad su política de conservación de datos: qué datos se guardan, dónde, durante cuánto tiempo y en qué condiciones. Puede describir cómo se gestionan las solicitudes de eliminación, con qué rapidez se ejecutan y si la eliminación es completa o quedan datos residuales en copias de seguridad o en los procesos de entrenamiento. Las buenas respuestas también aclaran si los datos de los clientes se usan alguna vez para mejorar el modelo para otros clientes y, lo que es crucial, si puedes excluirte de eso por completo. Si excluirte no es una opción, conviene saberlo antes de firmar.
Por qué RR. HH. debería preguntarlo: Porque los datos de empleados y candidatos no pertenecen al proveedor: pertenecen a las personas a las que describen, y se rigen por tus políticas y por la legislación aplicable. RR. HH. necesita saber que los datos no se conservan más tiempo del necesario, no se usan para fines distintos de los que se comunicaron y no son imposibles de eliminar cuando alguien ejerce sus derechos en virtud de leyes de privacidad como el RGPD o la CCPA, o de la política interna.
Jon dice: Es una pregunta sobre cómo se tratan los datos de principio a fin, y tiene más matices de lo que parece. Pregunta en concreto: ¿los datos se guardan de forma permanente o solo se usan en el momento y luego se descartan? Si se guardan, ¿están cifrados y con control de acceso? ¿El proveedor usa datos de clientes para reentrenar o mejorar los modelos, y eso exige tu consentimiento previo o se hace salvo que te excluyas?
Si no puedes excluirte, pregunta qué pasa con tus datos si se usan para el entrenamiento: puede volverse imposible eliminarlos. También vemos casos en los que esos datos son “accesibles” con los prompts adecuados. Por ejemplo, se ha demostrado que las primeras versiones de algunos bots de programación tuvieron acceso a repositorios de código privados durante el entrenamiento y que después, mediante prompts, revelaron su contenido. Mira:
GitHub Copilot and secret leakage
Research on training data extraction
12. ¿Qué riesgos o daños no estáis seguros de que este sistema pueda evitar?
Cómo suena una buena respuesta: Las mejores respuestas reconocen los límites. El proveedor puede nombrar riesgos residuales, casos límite o contrapartidas, y explicar cómo deberían tenerlos en cuenta los clientes en el despliegue.
Por qué RR. HH. debería preguntarlo: Ningún sistema está libre de riesgos. RR. HH. necesita entender los riesgos que se le pide que gestione.
Jon dice: Es mi pregunta favorita de la lista porque pone a prueba la honestidad intelectual. Todo sistema tiene formas de fallar. La cuestión es si el proveedor las conoce y sabe explicarlas. Un buen ingeniero te dirá: "Aquí es donde al modelo le cuesta. Esta es la población en la que baja la precisión. Este es el caso límite que no hemos resuelto." Si un proveedor dice que su sistema no tiene riesgos relevantes, o no ha mirado lo suficiente o no está siendo sincero.
En Pyn creemos que los líderes de RR. HH. deberían tener una visibilidad clara de cómo la tecnología da forma a la experiencia de los empleados, sobre todo cuando hay IA de por medio. Por eso diseñamos nuestra plataforma con la transparencia, el control y la supervisión humana en el centro, y por eso cualquier función de IA en Pyn es opcional por diseño. Los equipos de RR. HH. deberían poder decidir qué se usa, cuándo se usa y cómo afecta a su gente. Si tienes curiosidad por ver cómo se traduce este enfoque en la práctica, puedes explorar Pyn aquí.
