1. En el caso planteado vemos como la IA puede generar conflictos en su
aplicación en el mundo laboral, en este caso Alice Novak trabajadora de una gig
economy sufre bajada de su puntuación y menos volumen de trabajo por culpa
de elementos que la IA no tiene en cuenta, afectándole así gravemente a su
trabajo.
La IA que tiene SmartTasker para calificar a los trabajadores temporales y
asignarles tareas es un sistema de alto riesgo según la Ley de IA de la UE , que
afecta al punto 4 del anexo III sobre empleo y gestión de trabajadores,
concretamente el que hace referencia a la evaluación del rendimiento, la
asignación de tareas y las decisiones que afectan a las relaciones contractuales,
como la remuneración y el acceso. Al tener esta consideración, debe pasar
requisitos estrictos que conllevan importantes obligaciones. En la sección II de
la EU AI act se establecen los requisitos que los sistemas de IA de alto riesgo
deben respetar: un sistema continuo de gestión de riesgos (art. 9) para detectar y
mitigar las amenazas para la salud, la seguridad o los derechos; datos de
formación de alta calidad y libres de sesgos (art. 10); transparencia clara para
que los usuarios comprendan la lógica (art. 13); supervisión humana eficaz (art.
14); precisión, solidez y ciberseguridad (art. 15); documentación técnica
completa (art. 11); registro automático (art. 12); y una evaluación de
conformidad con el marcado CE (art. 19, a través de los módulos del anexo VI).
En el caso de Alice Novak, aunque aparecen aspectos que SmartTasker podría
alegar que cumplen con la normativa, la realidad es que no hay ni rastro de nada
de esto. La IA culpa a Alice por los factores externos como los atascos de
tráfico, sus propios fallos de navegación y las cancelaciones relacionadas con su
hija sin tenerlos en cuenta, lo que apunta a una gobernanza de datos deficiente,
riesgos no mitigados de variables externas y pruebas en el mundo real ignoradas
(art. 9).
Aunque las métricas como los tiempos de entrega o los comentarios de los clientes
pueden parecer fiables, las evaluaciones más subjetivas sobre el “comportamiento”
esconden fácilmente sesgos. Y ese tipo de valoraciones suele perjudicar especialmente a
perfiles como el de Alice, yendo en contra de las obligaciones de control de sesgos y de
representatividad del artículo 10. Esto es aún más problemático cuando no se aplican
ajustes geográficos o de contexto para trabajos como el reparto, tal como exige el art.
10.4. Es cierto que existe un proceso de revisión humana, lo que encaja con lo que pide
el artículo 14, pero en la práctica no basta con tener supervisores humanos. Se necesita
personal realmente formado y capaz de intervenir de manera significativa. Una simple
aprobación tras dos días “sin errores”, ignorando factores como las condiciones reales
del tráfico, no es supervisión. Es una formalidad vacía que genera dependencia excesiva
del sistema y favorece el sesgo de automatización que precisamente prohíbe el art.
14(4). Además, a pesar de que no se cite en el caso, deberíamos de comprobar si se
cumplen las instrucciones para los implementadores (art. 13.3) donde se les obliga a
advertir claramente sobre las limitaciones del sistema,por ejemplo, cómo influyen
factores externos en las métricas. Además, tampoco hay referencia a la supervisión
posterior a la comercialización de SmartTrack ni a las obligaciones de informar a los
trabajadores cuando el sistema toma decisiones automatizadas sobre ellos (art. 14.7).
