¡Descarga Inteligencia artificial ética y más Resúmenes en PDF de Informática solo en Docsity!
Inteligencia artificial ética y su
aplicación en el ámbito de la salud:
sistemas aplicados a la COVID-
Alicia de Manuel
Investigadora del Observatorio de Ética en Inteligencia Artificial de Catalunya
1. ¿Qué entendemos por inteligencia
artificial ética?
Tradicionalmente, las definiciones de la inteligencia artificial (IA) se han encontrado asociadas a descripciones tecnológicas que tienen que ver con el uso de máquinas como ordenadores o robots que realizaban tareas que requieren de inteligencia humana Sin embargo, actualmente comienza a exis- tir una preocupación por definir la IA también a través de sus implicaciones, especialmente en cómo esta ha afectado a la sociedad
Es importante comenzar este debate, ya que, si bien la IA puede tener un impacto positivo, ya sea haciendo que los procesos sean más seguros y eficien- tes, también puede llegar a suponer una amenaza, tanto en términos de segu- ridad de las personas como a través de la pérdida de bienes inmateriales como la privacidad, la intimidad, etc Así pues, la IA ética pretende resolver o miti- gar los problemas no deseables que se derivan de los riesgos de la implanta- ción de los sistemas de toma de decisiones automatizados De esta manera debemos señalar que construir sistemas de IA que adopten las normas éticas es esencial para generar un ecosistema donde la tecnología no perjudique a las personas, a otros seres vivos y sus hábitats
Uno de los mayores retos para la implantación de una IA ética es la falta de un consenso global, ya que la percepción de la IA, su uso y aceptación está fuer- temente influenciada por las normas culturales de los distintos países y regio- nes del mundo Los modelos económicos y las distintas normas culturales, así como las características legales, tienen un fuerte impacto no solo en el estado
de la tecnología de IA sino también en el grado de adopción ético En este sentido, actualmente podemos destacar tres modelos de IA que pugnan por convertirse en el modelo hegemónico en la carrera por el desarrollo de la IA y que constituyen tres maneras de entender esta tecnología: n AI for Profit (inteligencia artificial para el beneficio) es un modelo establecido sobre todo en áreas como Estados Unidos y caracterizado por el liderazgo de un pequeño grupo de empresas que domina el desarrollo tecnológico y marca el crecimiento económico Esto ha producido en los últimos años una serie de debates sobre el excesivo control que tienen un determinado grupo de entidades privadas y que definen los avances tecnológicos y el curso del mercado n AI for Control (inteligencia artificial para el control) es un modelo caracterizado por el uso de sistemas de IA como herramientas desti- nadas al control y a la seguridad Podemos encontrar este modelo predominante en China, a través de ejemplos como la implantación del sistema de crédito social Su uso de la IA está caracterizado por la centralización en un único órgano estatal de una gran cantidad de datos correlacionados n AI for Society (inteligencia artificial para la sociedad) es el modelo que pretende distanciarse de los dos modelos anteriores, en el cual priman tanto los derechos de los usuarios como los principios de una IA ética Esta es la posición que está tomando la Unión Europea a través de diferentes iniciativas que tienen como objetivo la coordinación y regulación de distintos marcos legislativos En este sentido, también debemos señalar que, aunque la adopción de los principios éticos de la IA pueda suponer un cambio enorme en la relación que establece- mos con la tecnología, también puede suponer que la innovación tecnológica quede retrasada haciendo que otros mercados más com- petitivos y menos restrictivos aumenten su liderazgo
2. ¿Cuáles son los principios éticos de la IA?
La primera referencia a la IA ética en Europa viene dada por el denominado High Level Expert Group in AI (HLEG AI), un grupo de expertos formado por la Comisión Europea que en 2019 comienza a sentar las bases de los prin-
compañías privadas, agencias gubernamentales, partidos políticos e institu- ciones académicas, los principios más repetidos son: transparencia, justicia y equidad, no maleficencia, responsabilidad, privacidad, beneficencia, libertad y autonomía, confiabilidad, dignidad, sostenibilidad y solidaridad Esta falta de unidad nos indica dos cosas: por un lado, que existe un creciente interés por parte de organizaciones e instituciones de implementar una estra- tegia de transformación ética en los sistemas de IA en diferentes sectores, y, por otro lado, que algunas declaraciones vagas y poco específicas nos pueden hacer sospechar de la utilización de la ética como un lavado de imagen
3. ¿Por qué es necesaria una IA ética?
Como podemos ver, en los últimos años la IA ética ha pasado de ser una cues- tión del ámbito filosófico a convertirse en una necesidad tangible El impacto de la tecnología en todos los sectores (industrial, cuidado de la salud, justicia, transporte, finanzas, entretenimiento…) y el aumento en la capacidad de procesamiento de datos, al mismo tiempo que la amenaza de una escalada armamentística con armas inteligentes ha generado un debate sobre aquellos principios que dan forma a una IA ética Al respecto, Cathy O’Neil^3 nos advierte de cómo el avance de modelos predictivos en general ha hecho que los sistemas de IA se conviertan en «armas de destrucción matemática» (wea- pons of math destruction), ya que si bien este tipo de tecnología se ha desarro- llado como una herramienta que mejore nuestra calidad de vida, muchas veces su uso supone un elevado riesgo que puede llegar a producir resultados muy negativos a nivel social Es por eso por lo que a los beneficios en la utilización de sistemas de IA como pueden ser la optimización y automatización de procesos o la minimización de los errores, surgen también una serie de inconvenientes que va a ser funda- mental tener en cuenta a la hora de valorar la idoneidad de aplicar la IA a un servicio También cabe destacar la necesidad de identificar uno de los más importantes riesgos de la utilización de la IA y que supone un problema ético a raíz de su utilización: los sesgos Podemos definir «sesgo» como un peso desproporcio-
cipios éticos de la IA a través del concepto de IA confiable (trustworthy AI) Según el documento titulado Ethics Guidelines for Trustworthy AI,^1 la IA confiable debe ser robusta desde el punto de vista técnico y respetar los prin- cipios y valores éticos teniendo en cuenta su entorno social
Las directrices presentadas por el HLEG AI establecen siete puntos clave que los sistemas deben cumplir para poder ser considerados confiables:
n Agencia humana y supervisión: los sistemas deben empoderar a los seres humanos, así como garantizar los mecanismos de supervisión adecuados n Robustez técnica y seguridad: los sistemas deben ser seguros, precisos y fiables y asegurar planes alternativos en caso de error para minimi- zar y prevenir los daños no intencionales n Privacidad y gobernanza de datos: además de garantizar la privacidad y la protección de datos, los sistemas de IA deben tener en cuenta la calidad e integridad de los datos asegurando un acceso legitimado a ellos n Transparencia: los modelos de negocio de datos y sistemas de IA deben ser transparentes n Diversidad, no discriminación y equidad: en los sistemas de IA deben evitarse los prejuicios y sesgos injustos n Bienestar social y medioambiental: los sistemas de IA tienen que ser sostenibles y respetuosos con el medioambiente, ya que deben poder beneficiar a los seres vivos y las generaciones futuras n Rendición de cuentas: deben establecerse mecanismos que garanticen la auditabilidad y la rendición de cuentas tanto de los sistemas de IA como de sus resultados
A partir de la constitución de estas bases el interés por determinar los princi- pales principios éticos de la IA ha llevado a la publicación de numerosos tra- bajos, recomendaciones y marcos operativos Un claro ejemplo de este interés es analizado por Anna Jobin en The global landscape of AI ethics guidelines,^2 que representa una actual falta de consenso entre los principios éticos de los documentos sobre IA revisados para el estudio Dentro de la revisión de 84 docu- mentos sobre principios éticos o guías para el desarrollo de sistemas de IA de
- rastreo de proximidad, que rastrea la cadena de transmisión de posi- bles contactos cercanos y movimientos para identificar quién pudo haber estado expuesto a una persona infectada;
- respuesta al brote, que rastrea la gestión de los casos y sus contactos a través del ingreso de datos para evaluar las medidas de coordinación, mitigación y evolución de la enfermedad en la sociedad;
- seguimiento de síntomas, que monitorea de forma rutinaria la evolu- ción de los síntomas y signos autoinformados en un paciente para evaluar la prevalencia de la enfermedad y ayudar a informar de los procesos de rastreo de contactos;
- aplicaciones de cumplimiento de cuarentena, que ayudan a los usua- rios a realizar un seguimiento y control de sus propias cuarentenas En cuanto a los sesgos, pudimos identificar que se producían: n Pérdida de datos o frecuencia de monitorización insuficiente: el desa- rrollo de aplicaciones sin control llegó a generar una recopilación de datos inadecuada y sesgos debido a la pérdida de algunos datos o a una frecuencia de monitoreo insuficiente, lo que puede conducir a la imposibilidad de comparar los datos recopilados de diferentes regio- nes 10 Aunque no afecta a la funcionalidad central de la aplicación, puede afectar al uso posterior de los datos recopilados: por ejemplo, la mayoría de los modelos de machine learning se han basado en datos provenientes de China, lo que puede llegar a limitar la escalabilidad a otras poblaciones 11 n Los medios de información alteraron la naturaleza de las búsquedas, produciendo sesgos en áreas de potenciales conglomerados Al res- pecto, identificamos un caso en Corea mediante el cual se monitori- zaban los posibles infectados a través de las búsquedas que se realiza- ban en internet, de tal manera que cada vez que los medios informaban sobre la ubicación de un paciente con COVID-19 positivo, muchas personas que estaban cerca de la ubicación informada solicitaban información adicional relacionada con la COVID-19 12 n Estas aplicaciones presentan un alto riesgo de discriminación, espe- cialmente para las personas afectadas (Mbunge, 2020) 15 Específica- mente, las aplicaciones de rastreo basadas en el Internet de las Cosas
n La variabilidad de las fuentes de datos contribuyó a generar sesgos en el intercambio de las redes de investigación COVID-19 y esto afectó a la calidad de los datos Autores como Sáez et al.^5 analizaron cómo el hecho de mezclar datos provenientes de diferentes países de origen –en este caso la información de Filipinas provenía del Departamento de Salud, mientras que la de China procedía directamente de los informes de los pacientes– hizo que los resultados fueran inconsisten- tes, debido a la variación en la fuente de información n Encontramos sesgos en los modelos de predicción de la COVID-19 a causa de las muestras de datos no representativas 6 n El rápido desarrollo de los sistemas de IA conlleva un gran riesgo debido a los datos de entrenamiento sesgados y a la falta de repro- ducibilidad y de un recurso de datos COVID-19 regulado 7 Sin estrategias integrales de mitigación de sesgos, esto puede exacerbar las disparidades de salud existentes «El código fuente de cualquier modelo de IA debe compartirse públicamente para garantizar que los modelos puedan aplicarse, generalizarse y compararse de mane- ra transparente »^8
En cuanto a los problemas éticos en los algoritmos de IA utilizados para el triaje, sobre todo pudimos identificar riesgos en torno a la transparencia, que es esencial para comprender las predicciones y las poblaciones objetivo, los sesgos no reconocidos, los problemas de desequilibrio de clases y su capacidad para generalizar las tecnologías emergentes en entornos hospitalarios y poblaciones 9 Para garantizar que los modelos puedan aplicarse, generali- zarse y compararse ampliamente, el código fuente de un sistema de IA debe compartirse públicamente y deben crearse marcos regulatorios para facilitar el intercambio de datos
Aplicaciones de monitorización y rastreo
de contactos
Las aplicaciones móviles de monitorización y rastreo de contactos están des- tinadas a determinar la proximidad entre una persona infectada y otras a través de dispositivos móviles utilizando las tecnologías wifi y Bluetooth Durante el estudio pudimos identificar cuatro tipos:
poniendo en peligro la monitorización de casos positivos 15 Las aplica- ciones de monitorización y rastreo de contactos deberían permitir que las personas practiquen la retirada del consentimiento, 16 ya que es posible que los usos problemáticos de las tecnologías continúen una vez que termine la pandemia, como todo lo que tendría que ver con los beneficios financieros y políticos al perpetuar el uso de las tecnologías En este sentido obligar a una población a usar una aplicación puede conducir a tasas de cobertura mucho más bajas 17 Sin embargo, encon- tramos escenarios opuestos en países que no han desarrollado ninguna aplicación específica Brasil, por ejemplo, ha aumentado su vigilancia tecnológica para minimizar la cadena de transmisión de la COVID-19 18 Esta aplicación de vigilancia masiva puede plantear problemas sobre el poder, el abuso y la explotación de datos
5. Sistemas de autoevaluación ética de
sistemas de IA para aplicaciones de salud
En los últimos años, como respuesta para paliar los problemas éticos de la implantación de sistemas de IA, se han desarrollado diferentes herramientas de autoevaluación ética para verificar la adecuación de un sistema a diferentes principios éticos Han sido muchas las instituciones que han elaborado sus propias guías de adecuación, como por ejemplo la ya mencionada Ethics Guidelines for Trustworthy AI,^19 Draft text of the Recommendation on the Ethics of Artificial Intelligence,^20 Declaración de Barcelona,^21 AI Ethics Impact Group: From Principles to Practice,^22 Technical methods for regulatory inspection of algorithmic systems in social media platforms^23 o AI systems classification framework at the OECD,^24 entre otras En este sentido, y como resultado de la identificación de sesgos y de problemas éticos del proyecto de «Detección y eliminación de sesgos en algoritmos de triaje y localización para la COVID-19», nos propusimos la ideación de una Guía de autoevaluación ética de uso de IA en salud con el objetivo de contribuir a una toma de conciencia de la importancia de detectar y eliminar la injusticia algorítmica tanto en el diseño como en la aplicación de los algoritmos usados en el campo de la salud Es importante señalar que este
(IoT) recopilan datos de toda la población en tiempo real que luego se analizan para mapear los puntos críticos de la COVID-19 Dichos datos incluyen información étnica, detalles demográficos y estado socioeconómico que pueden influir en la asignación y distribución de los recursos destinados a la COVID-19 y producir discriminación n Los falsos negativos se convirtieron en un obstáculo, ya que pueden generarse deliberadamente porque las personas infectadas no quieren revelar su verdadero estado, siendo un factor que genera datos impre- cisos sobre la población
En cuanto a los problemas éticos, pudimos identificar diferentes riesgos éticos:
n Por un lado, en cuanto a la privacidad El uso de aplicaciones de monitorización y rastreo de contactos plantea preocupaciones éticas, legales, de seguridad y de privacidad (Roche, 2020) Para ser acepta- ble, esta injerencia en los derechos fundamentales debe ser justifi- cada, razonable, proporcionada y políticamente consensuada Las aplicaciones de monitorización y rastreo de contactos brindan poca o ninguna privacidad a las personas infectadas y les exigen que divul- guen sus datos, lo que plantea problemas difíciles de consentimiento, privacidad, ética y compensaciones entre bienes públicos y privados Por ejemplo: la correlación de datos, el intercambio de información y la capacidad de extraer información de diferentes puntos de entra- da contribuyen a la creciente fragilidad de la anonimización de los datos Esta anonimización es aún más frágil cuando la información se recopila a lo largo del tiempo y mediante referencias cruzadas de datos 13 n Por otro lado, identificamos una falta de regulación al no existir regu- laciones específicas en torno a este tipo de tecnología El uso de datos, acceso o privacidad se ha adaptado a las leyes internacionales, nacio- nales y estatales Aunque las regulaciones de algunos países protegen mejor a los ciudadanos, quedan dudas sobre hasta qué punto los Gobiernos y las instituciones privadas tienen acceso ilimitado y a largo plazo de los datos de los ciudadanos con fines de vigilancia 14 n Por último, problemas relacionados con el consentimiento Los usua- rios tienen derecho a darse de baja y configurar sus dispositivos,
