Ética del IoT: ¿Quién vive y quién muere?

Por Gabriel E. Levy B.
Académico y consultor en Temas TIC

Un artículo publicado por Nature [1] , una de las revistas científicas más prestigiosas del mundo, divulgó recientemente un estudio desarrollado por investigadores del MIT Media Lab del Instituto Tecnológico de Massachusetts (EE.UU.) . La investigación involucró a más de 40 millones de personas alrededor mundo y en sus sorprendentes conclusiones revelan, entre muchas otras cosas, que la ética varía en función de la cultura, la economía y la ubicación geográfica.

¿Qué debe privilegiar un vehículo autónomo: Matar a un anciano o a un bebé?

The Moral Machine, (La máquina moral) es el nombre que lleva el estudio que formularon los investigadores del MIT Media Lab y que fue lanzado en el año 2014 [2]. El experimento se propuso como objetivo crear una plataforma similar a un juego, en el que los usuarios tendrían la opción de escoger entre distintas variables acerca de las decisiones que podría asumir un automóvil autónomo; los participantes debían priorizar la vida humana en diferentes escenarios, partiendo de una antiguo dilema, denominado “Dilema del Tranvía [3]“.

El Dilema del Tranvía

Tal y como lo explica en su publicación el MIT, el dilema del tranvía clásico parte de la siguiente premisa:

“Un tranvía fuera de control está a punto de chocar y matar a cinco personas. Nosotros tenemos acceso a una palanca con la que podemos hacer que el tranvía cambie de vía, pero en medio de esta hay otra persona distinta que moriría de forma prematura. ¿Deberíamos tirar de la palanca y acabar con una sola vida para salvar las otras cinco?” Artículo del Mit Technology Review [4]

Los objetivos y alcances del estudio

Desde sus inicios, el proyecto se planteó ayudar a comprender las prioridades éticas colectivas en diferentes culturas. Sin embargo, tal y como informó un reciente artículo de la revista del MIT Mit Technology Review [5], “los investigadores no previeron que su experimento se haría viral”, toda vez que cuatro años después de su lanzamiento, personas de 233 países y territorios han registrado alrededor de 40 millones de opiniones, convirtiendo al estudio en uno de los más grandes jamás realizados sobre ética y moral.

El Internet de las cosas como base para la investigación

El Internet de las cosas no es más que la capacidad para que dispositivos electrónicos, de uso cotidiano y diferente índole, puedan estar conectados a Internet en beneficio de uno o varios usuarios, sin que se requiera para dicha conexión de la intervención humana regular o permanente.

“Internet de las Cosas (IC) es la red de objetos físicos a los que se tiene acceso a través de Internet. Estos objetos contienen tecnología incrustada que permite interactuar con estados internos o el entorno exterior. En otras palabras, cuando los objetos son capaces de detectar y comunicarse, cambia la manera y el lugar en que se toman decisiones, y quién las toma. Por ejemplo, los termostatos inteligentes.” Ahmed Banafa profesor e investigado en el marco del Foro Económico Mundial de Davos, en Suiza [6]

Un ejemplo de Internet de las cosas es cuando neveras, lavadoras, secadoras, aspiradoras, puertas, alarmas, jardines, autos, drones, cámaras de seguridad, semáforos, peajes, estacionamientos y en general todos aquellos dispositivos de uso cotidiano son conectados a Internet, con la intención de simplificar y automatizar su uso través de la gestión digital de sus funciones en línea y generalmente con respaldo en la nube [7].

En la medida en que los aparatos se convierten en elementos autónomos existe un riesgo potencial de que puedan causar daños o accidentes; esto es especialmente válido para dispositivos que desarrollan velocidad como drones, aviones y por supuesto: Los míticos automóviles autónomos.

Si bien el riesgo de un accidente no es un asunto exclusivo de un aparato autónomo, existe una sutil pero muy relevante diferencia respecto de los siniestros causados por los seres humanos y es que estos dispositivos eventualmente tendrían la capacidad computacional de calcular, previamente a un suceso catastrófico, la posibilidad de que este ocurra. Así, en cuestión de milisegundos la computadora del auto podría decidir si alguien debe morir para que otros puedan seguir con vida, algo que, por supuesto, deberá ser programado con anticipación por los desarrolladores del dispositivo [8].

Las nueve decisiones que propuso el proyecto de “La Máquina Moral”

Partiendo de la lógica básica del dilema del tranvía, el proyecto propuesto por los investigadores del MIT retomó el concepto central, pero lo amplió a nueve posibles situaciones, dejando que los más de 40 millones de participantes aportaran su opinión y decidieran sobre la postura más adecuada en cada uno de los casos, toda ellas aplicadas a los vehículos autónomos:

Priorizar humanos frente a mascotas.
Priorizar a los pasajeros del vehículo antes que a los peatones.
Priorizar el número de vidas salvadas en total.
Salvar a más mujeres que a hombres.
Salvar a personas jóvenes antes que a las de mayor edad.
Priorizar a la gente sana frente a la enferma.
Salvar a personas de estatus social alto frente a otras de nivel más bajo.
Priorizar a la gente que respeta la ley antes que a los delincuentes.
Decidir si el vehículo debe seguir su camino (no actuar de ninguna manera) o cambiar de dirección (actuar).

Si bien estos nueve escenarios de por sí resultaban complejos para la toma de decisiones por parte de los participantes, el experimento fue aún más lejos y se propuso ofrecer situaciones en las que se combinaron múltiples opciones.

“Por ejemplo, uno de los escenarios planteaba elegir entre si un coche autónomo debería continuar su trayectoria y acabar con la vida de tres peatones ancianos o si debiese desviarse hacia una barricada donde mataría a sus tres jóvenes pasajeros.” Publicación sobre el estudio de la revista Nature [9]

Geografía, Cultura y economía como factores claves para diferenciar las decisiones

Los análisis y resultados arrojados por el estudio también permitieron concluir a los investigadores que las preferencias de las personas difieren significativamente en función del país, pero están muy correlacionadas con la cultura y la economía [10].

Por ejemplo, es menos probable que las personas de sociedades colectivistas como China y Japón salven a los jóvenes en lugar de a los ancianos. Los investigadores sugieren que esto podría deberse al mayor respeto que estas culturas profesan hacia sus mayores. [11]

Los países con culturas más individualistas son más propensos a salvar a los jóvenes

Gráfico publicado en el artículo de la Revista Mit Tecnologhy Review: Francia, Grecia, Canadá, Reino Unido, Australia, Noruega, Estados Unidos, Suecia, Alemania, Estonia, Dinamarca, Suiza, Holanda, Israel, Finlandia, Singapur, Japón, Corea del Sur, China, Taiwán. Si el barómetro está más cerca del 1, los encuestados consideran más importante salvar a los jóvenes; si el barómetro está más cerca del -1, los encuestados prefieren salvar a los ancianos; 0 es el promedio global.

El desarrollo de los países, la cultura ciudadana y la fortaleza o debilidad de las instituciones – especialmente del orden gubernamental – resultaron igualmente relevantes para determinar las diferentes posturas que asumieron los participantes durante el estudio:

“Los participantes de países menos desarrollados y con instituciones más débiles son más tolerantes con los transeúntes imprudentes que con los peatones que cruzan como es debido. Y los participantes de países con un alto nivel de desigualdad económica muestran mayores brechas entre el tratamiento de las personas con estatus social alto y bajo”. Artículo del Mit Technology Review [12]

Los países con culturas más individualistas tienden a salvar más vidas

Otra importante conclusión del estudio es que un mayor número de personas en peligro no siempre se convierte en el factor determinante para establecer la vida o la muerte, siendo este factor prioritario solamente en países cuyas culturas están basadas en los criterios del individualismo, como es el caso de Reino Unido y EE.UU., en donde los ciudadanos prefieren, como primer criterio, salvar la mayor cantidad de vidas. Los investigadores creen que “esto se debe a que en estos países se pone más énfasis en lo que vale cada individuo.”

Gráfico publicado en el artículo de la Revista del Mit Tecno

Gráfico publicado en el artículo de la Revista Mit Tecnologhy Review: Francia, Israel, Reino Unido, Canadá, Estados Unidos, Noruega, Australia, Singapur, Dinamarca, Suecia, Alemania, Suiza, Grecia, Estonia, Holanda, Finlandia, Corea del Sur, China, Taiwán, Japón. Si el barómetro está más cerca del 1, los encuestados dan más importancia a salvar más vidas; si el barómetro está más cerca del -1, los encuestados consideran menos importante salvar más vidas; el 0 es el promedio global.

Preferencia por país a la hora de salvar a peatones frente a los ocupantes del vehículo

Mientras en países como Japón, Noruega, Singapur o Dinamarca los ciudadanos prefieren salvar a los peatones por encima de los ocupantes del vehículo, en países como China o Estonia la prioridad se centra en salvar a los ocupantes antes que a los peatones.

Gráfico publicado en el artículo de la Revista Mit Tecnologhy Review: Japón, Noruega, Singapur, Dinamarca, Finlandia, Suiza, Grecia, Holanda, Corea del Sur, Alemania, Australia, Reino Unido, Suecia, Canadá, Israel, Estados Unidos, Francia, Taiwán, Estonia, China. Si el barómetro está más cerca del 1, los encuestados consideran más importante salvar a los peatones; si el barómetro está más cerca del -1, los encuestados valoran más salvar a los pasajeros del coche; el 0 es el promedio global.

Pero si bien la gráfica refleja una mayor conciencia por parte de los habitantes de los países desarrollados por privilegiar y defender la vida de los peatones, es muy poco probablemente que, desde lo comercial, este criterio finalmente sea adoptado, incluso en estos países, pues comercialmente resultaría muy complejo vender un automóvil cuya configuración está diseñada para sacrificar la vida de sus ocupantes por encima de la de otros ciudadanos, quedando el tema en el terreno legal o regulatorio, pues existen en muchas legislaciones y normatividades del mundo una clara disposición hacia la responsabilidad civil, que indica que el dueño de un dispositivo tiene responsabilidad sobre los demás. Este es uno de los desafíos del derecho civil ante la emergencia de estos nuevos dilemas derivados del Internet de las Cosas – iot- .

Un estudio que puede aportar luces para la regulación del IOT:

Uno de los mayores desafíos que enfrentan todos los desarrollos del IOT, especialmente aquellos que involucran desplazamiento por el espacio público como los vehículos autónomos o los drones autónomos, es que existen un entramado de vacíos legales y jurídicos que demandarán una pronta regulación, pues estos aparatos gobernados por algoritmos basados en Inteligencia Artificial (IA) comenzarán a convivir en nuestros espacios cotidianos en menos de una década, causando potenciales riesgos a los que debemos anticiparnos.

“No está del todo claro quién debe ser considerado responsable si un aparato con IA causa daños (por ejemplo, en un accidente con un coche autónomo o por una incorrecta aplicación de un algoritmo): el diseñador original, el fabricante, el propietario, el usuario o incluso la propia IA. Si aplicamos soluciones caso por caso, nos arriesgamos a la incertidumbre y la confusión. La falta de regulación también aumenta la probabilidad de reacciones precipitadas, instintivas o incluso alimentadas por la ira pública”. Moisés Barrio en Retina del País de España [13]

Pero mucho más complejo aún, es establecer con certeza cuales deben ser los criterios que deben asumir las sociedades y los gobiernos para definir la programación autónoma de estos dispositivos, en virtud incluso de las conclusiones mismas del estudio realizado por el MIT. Al respecto, los investigadores a cargo han sido muy enfáticos en que los resultados obtenidos no pretenden crear una regla moral acerca cómo deben actuar los diferentes países y gobiernos; incluso han afirmado que, en algunos casos, “los tecnólogos y responsables políticos deberían ignorar la opinión pública colectiva” [14].

Un coautor del estudio, Edmond Awad, pone como ejemplo la comparación del estado social:

“Resulta preocupante que a las personas les parezca aceptable salvar a la gente de un estatus más alto que a la de un estatus más bajo. Es importante decir: ‘Oye, podríamos analizar eso’ en lugar de decir: ‘Oh, tal vez deberíamos hacer eso’.”
“Los resultados deben ser usados por empresas y gobiernos como base para entender cómo el público reaccionaría a la ética de las diferentes decisiones de diseño y políticas.”
“Utilizamos el dilema del tranvía porque ofrece una forma muy buena de recopilar estos datos, pero esperamos que el debate sobre la ética no se limite a este asunto. La discusión debería centrarse en el análisis de riesgo, sobre quién corre más y quién menos riesgo, en vez de decir quién va a morir o no, y también deberían tratarse los posibles sesgos [15]“.

En cualquier caso, lo que tanto Awad como el resto de los investigadores posiblemente esperan es que estos resultados sirvan para que sociedad civil, tecnólogos y gobiernos, “puedan analizar en profundidad cómo estos resultados podrían traducirse en un diseño y una regulación ética para la IA.”

En conclusión, el estudio del MIT publicado por la revista Nature aporta muy valiosos elementos de análisis para diseñadores, tecnólogos, sociedad civil, grandes corporaciones y gobierno, permitiéndoles comprender el posible impacto que tendrán las decisiones que se tomen en materia de Inteligencia Artificial y autonomía de los aparatos. Pero, sobre todo, el estudio resulta de particular relevancia toda vez que se anticipa a un debate impostergable que involucra la vida humana y que posiblemente ocupará la atención de la humanidad en los próximos años. Este tipo de Investigaciones y discusiones, permiten con argumentos y evidencia, anticipar decisiones polémicas, que de alguna forma terminarán impactando en los próximos años a la mayoría de los habitantes del planeta.