El Reglamento de Inteligencia Artificial de la Unión Europea entró en vigor el 2 de agosto de 2024, pero su aplicación ha sido de forma paulatina. La IA ha sido uno de los avances tecnológicos más significativos de este último tiempo. Su impacto ha transcendido en diversos ámbitos de nuestras vidas, como la educación y la medicina, por ejemplo. Sin embargo, este rápido avance también plantea desafíos y riesgos, como la discriminación algorítmica, esto se debe en gran parte a los modelos que utilizan los sistemas de IA y la forma en que procesan la información.
Los modelos de IA se entrenan con grandes cantidades de datos. Si estos datos reflejan sesgos existentes en la sociedad, como prejuicios raciales, de género o socioeconómicos, el modelo aprenderá y perpetuará estos sesgos en sus decisiones. Incluso si los datos de entrenamiento son relativamente neutros, algunos algoritmos pueden amplificar inadvertidamente los sesgos existentes. Esto ocurre porque los algoritmos están diseñados para identificar patrones y correlaciones, y pueden encontrar patrones discriminatorios incluso si no son intencionales.
Para identificar estos patrones se recomienda tener personas diversas en los equipos de desarrollo, debido a que es más probable que se identifiquen y aborden los posibles sesgos en los datos y algoritmos. Cada persona aporta sus propias experiencias y perspectivas, lo que puede ayudar a detectar patrones discriminatorios que podrían pasar desapercibidos para un equipo homogéneo. Además, la diversidad en los equipos mejora la calidad de los datos y lleva a una mejor comprensión para entrenar los modelos. Contar con personas diversas en los equipos de IA no es solo una cuestión de justicia, sino también una necesidad para garantizar que la IA se desarrolle y utilice de manera responsable y beneficiosa para toda la empresa.
El Reglamento de la IA establece una serie de requisitos y obligaciones para los sistemas de IA que se utilizan en diversos ámbitos, incluyendo el ámbito laboral. Uno de los objetivos principales es garantizar que estos sistemas no perpetúen o amplifiquen sesgos y discriminaciones existentes, de esta forma se garantiza el respeto a los derechos humanos y la seguridad en el trabajo.
Algunos puntos de relevancia que establece este reglamento es la evaluación del riesgo y su clasificación. Los proveedores y usuarios de sistemas de IA de alto riesgo, como los que se utilizan en los procesos de selección o en la evaluación del desempeño, deben realizar evaluaciones de riesgos para identificar y mitigar posibles sesgos y discriminaciones.
Además, se exige que los sistemas de la IA sean transparentes y explicables, lo que permite comprender cómo funcionan y cómo se toman las decisiones. Esto facilita la identificación de posibles sesgos y discriminaciones en el funcionamiento del sistema. Para la supervigilancia de los sistemas de IA, se promueve que sea a través de la supervisión humana, especialmente en aquellos casos en los que puedan tener un impacto significativo en las personas. Se requiere identificar y detectar a tiempo los posibles sesgos que pudiesen surgir.
A través de un caso práctico vamos a explicar cómo el sistema de IA podría traer consecuencias negativas en los procesos de selección de las empresas y cómo este puede impactar positivamente si se implementa adecuadamente el artículo 4 del Reglamento de la IA de la UE. Imaginemos que estamos en una empresa donde el algoritmo ha sido entrenado con datos históricos de la empresa, donde la mayoría de los técnicos eran hombres. Como resultado, el algoritmo tiende a favorecer a candidatos masculinos, perpetuando así la desigualdad de género en la empresa.
El artículo 4 del Reglamento de la IA de la UE establece requisitos para los sistemas de IA de alto riesgo, como los utilizados en la selección de personal. Estos requisitos buscan garantizar que los sistemas sean transparentes, no discriminatorios y estén sujetos a supervisión humana.
En el caso anterior, el Reglamento de la IA obligaría a la empresa a:
- Evaluar el riesgo de discriminación del algoritmo: Antes de implementarlo, la empresa debería haber evaluado el riesgo de que el algoritmo perpetúe sesgos de género. Esto implica analizar los datos y examinar la proporción de hombres y mujeres en diferentes puestos, los criterios utilizados para evaluar a los/as candidatos/as en el pasado, etc. Además, se deberían realizar pruebas específicas para evaluar si el algoritmo favorece sistemáticamente a candidatos masculinos. Esto podría implicar presentar al algoritmo currículums de hombres y mujeres con perfiles similares y analizar si hay diferencias significativas en la forma en que el algoritmo los evalúa.
- Garantizar la transparencia y explicabilidad: La empresa debería poder explicar cómo funciona el algoritmo y qué criterios utiliza para seleccionar a los candidatos. La empresa debería documentar de manera clara y detallada cómo funciona el algoritmo, qué datos utiliza y qué criterios aplica para seleccionar a los candidatos. Esta documentación debería ser accesible para los candidatos/as que lo soliciten. También sería relevante realizar auditorías independientes para verificar que el algoritmo funciona de manera transparente y no discriminatoria.
- Implementar medidas de supervisión humana: La empresa debería contar con mecanismos para detectar y corregir posibles sesgos en el funcionamiento del algoritmo. Los procesos de selección deben contar con personas cualificadas que revisen las decisiones del algoritmo, especialmente en aquellos casos en los que el algoritmo pueda tener un impacto significativo en la vida de los/as candidatos/as (por ejemplo, en la selección para puestos de alta responsabilidad).
Por último, es importante destacar que el Reglamento de IA es una normativa en constante desarrollo y que su aplicación y cumplimiento requerirán de un esfuerzo conjunto por parte de las personas involucradas, incluyendo empresas, trabajadores/as, autoridades y sociedad en general.
Fuente:https://www.consilium.europa.eu/es/policies/artificial-intelligence/
