Libro Recomendado: El algoritmo ético
Ecosistema Digital
La ciencia del diseño de algoritmos con conciencia social
Los algoritmos deciden qué anuncios ve la gente en línea y si los consumidores obtienen préstamos. Estas “recetas” que preparan las computadoras adquieren cada vez más poder sobre la vida de los humanos. ¿Acaso lo ejercen de manera justa? ¿Pueden los humanos diseñar algoritmos que se comporten de manera ética? El mensaje de Michael Kearns y Aaron Roth, informáticos de la Universidad de Pensilvania, es que sí… a veces. Kearns y Roth explican cuándo los humanos pueden esperar que los algoritmos se comporten éticamente y en qué casos la informática aún lucha por lograrlo.
Ideas fundamentales
- Los algoritmos plantean cuestiones de privacidad, justicia, seguridad, transparencia, responsabilidad e, incluso, moralidad.
- Proteger la privacidad es difícil, pero el azar ayuda.
- Un algoritmo más justo debe ser menos preciso.
- Los algoritmos pueden tener resultados problemáticos debido a las acciones de las personas.
- La escala y la adaptabilidad hacen que los algoritmos sean traicioneros.
- La inteligencia artificial puede estar en el camino hacia una singularidad.
- Los algoritmos son falibles, pero un mundo sin ellos es impensable.
Los algoritmos plantean cuestiones de privacidad, justicia, seguridad, transparencia, responsabilidad e, incluso, moralidad.
Las empresas y los gobiernos acumulan grandes cantidades de datos sobre nosotros. Las computadoras los recogen y analizan de acuerdo con ciertos algoritmos. Esto conduce a la obtención de valiosos conocimientos y ayuda a proporcionar servicios. Pero también puede divulgar información privada. Y un algoritmo puede tomar o proponer decisiones sobre personas que ellas considerarían injustas o inmorales. Algunos enfoques utilizan algoritmos que procesan los datos de acuerdo con instrucciones paso a paso. Otros usan el aprendizaje automático, que permite que el sistema evolucione. Tales sistemas construyen modelos internos que son difíciles de entender para los humanos. Y mientras procesan los datos de acuerdo con sus reglas, estos sistemas pueden incluso llegar a obtener soluciones que ofenden las normas sociales.
Las regulaciones pueden ayudar a garantizar que los sistemas se utilicen de acuerdo con su propósito. Y cuando los desarrolladores diseñan algoritmos con un propósito, lo ideal es que se guíen por los principios de justicia, precisión, transparencia y ética. Sin embargo, la implementación exitosa de estos principios puede tener un precio: los algoritmos resultantes pueden ser menos precisos o eficientes, en comparación con un diseño que no los siga.
Proteger la privacidad es difícil, pero el azar ayuda.
Cuando una agencia gubernamental publicó los datos médicos anónimos de empleados para una investigación, un estudiante del MIT logró extraer los datos del gobernador del estado, William Weld. Resulta que los datos anonimizados no salvaguardan la privacidad. Este problema persiste incluso si los campos de datos que pueden identificar a una persona de manera única permanecen confidenciales. Y la liberación de datos agregados tampoco es una solución. En ambos casos, a menudo es posible seguir rastreando alguna información sobre los individuos.
Para diseñar algoritmos que salvaguarden la privacidad, es útil definir el concepto en términos de daño. La privacidad se preserva si una persona no está en desventaja, si sus datos aparecen en un conjunto de datos publicados. Esto puede lograrse mediante la llamada “privacidad diferencial”. Los algoritmos pueden proporcionar este tipo de privacidad mediante la asignación aleatoria de algunos de los datos. Pero la privacidad diferencial tiene un costo: cuanta más privacidad proporcione, más datos tendrán que recopilar las empresas o los investigadores para sacar conclusiones fiables.
Tanto Google como Apple hacen uso de este método. Su software mezcla la información que recogen de cada dispositivo con datos arbitrarios, lo que significa que sus usuarios no tienen que confiarles su información privada. Este es el modelo local de privacidad. La Oficina del Censo de Estados Unidos utilizará la privacidad diferencial para el censo de 2020. Recopilará datos exactos, pero los volverá aleatorios después; ese es el modelo centralizado de privacidad. La privacidad diferencial no puede proteger la información que pertenece a grandes grupos de personas. En 2017, una empresa que recopilaba información de dispositivos de entrenamiento, como Fitbits, publicó datos sobre los lugares por los que sus usuarios caminaban o corrían, incluidas las ubicaciones de las bases militares en la provincia de Helmand, en Afganistán. Además, el deseo de muchas personas de saber lo que su ADN dice de ellas, hizo posible encontrar a los familiares de un asesino en serie y, luego, al propio asesino.
Un algoritmo más justo debe ser menos preciso.
En 2016, un equipo de investigación de Google descubrió un caso de sexismo en los datos de la empresa, cuando un algoritmo averiguó qué palabras aparecían a menudo cerca una de la otra en los textos. El equipo lo resumió en el título de un artículo de revista: “¿Es ‘hombre’ a ’programador de computadoras’, lo que ’mujer’ es a ’ama de casa’?” Un problema similar fue descubierto en un algoritmo de aprendizaje automático de Amazon, que seleccionaba a los solicitantes de empleo: valoraba menos a las mujeres. Si los datos están sesgados, el resultado del algoritmo que aprende de los datos también lo estará. Los humanos no pueden evitar que un algoritmo produzca un resultado sesgado al eliminar la información sobre las personas de su entrada. Los diseñadores deben exigir explícitamente la neutralidad en ciertos criterios. Esto disminuirá la precisión.
Existen diferentes formas para definir la justicia. Una es que diferentes grupos de personas tienen la misma oportunidad de acceder a un resultado favorable, por ejemplo, obtener un préstamo. Pero esto es problemático si existen diferencias reales entre los grupos. En este caso, podría ser su capacidad crediticia promedio. Hacer cumplir tal imparcialidad, deprimirá las ganancias del banco. Otro enfoque es exigir que un algoritmo sea imparcial en los errores que cometa. Los miembros de todos los grupos deben tener las mismas probabilidades de obtener un préstamo inmerecido y las mismas probabilidades de no obtenerlo, a pesar de tener un buen crédito. En la práctica, se producirá un equilibrio entre el número de errores y el nivel de equidad deseado. Abundan aún más las definiciones de equidad. Los matemáticos han demostrado que no es posible satisfacerlas todas a la vez; la gente tendrá que elegir el tipo de justicia deseado.
Hacer un algoritmo tan justo como sea posible para varios grupos grandes, puede hacer que se vuelvan injustos para algún grupo pequeño bien definido. Para evitarlo, existen algoritmos que se modifican a sí mismos, en un juego en el que un “aprendiz” intenta maximizar el rendimiento del algoritmo, mientras que un “regulador” propone subgrupos que tienen que recibir un trato justo. Pero esto no puede ir tan lejos como para garantizar la equidad para un grupo de uno. Otros problemas surgen si los datos están contaminados por el sesgo. En las estadísticas de criminalidad, si algunas áreas tienen más crimen, habrá más policías presentes y, por tanto, percibirán aún más crimen. Este es un problema difícil de resolver por medio de un algoritmo.
Los algoritmos pueden tener resultados problemáticos debido a las acciones de las personas.
En 2013, una periodista que usaba una aplicación de citas descubrió que solo recibía invitaciones de hombres pertenecientes a una cultura en particular. Cuando cambió a regañadientes su preferencia a no estar interesada en varones de tal grupo, exacerbó el exceso de oferta, lo que probablemente indujo a otras mujeres a enfrentarse al mismo dilema. Aquí, el problema no es solo el algoritmo, sino también la forma en que la gente reacciona a él. Esto corresponde a la teoría del juego. Todos los elementos actúan en su propio interés. A menudo, el resultado será un equilibrio, bueno o malo. Los investigadores que trabajan en el campo de la teoría algorítmica de juegos intentan diseñar mejores algoritmos para tales situaciones.
Un ejemplo de este tipo de juego es el viaje diario en auto. Las aplicaciones de búsqueda de rutas como Waze sugieren la ruta más rápida para ir al trabajo o a casa, y toman en cuenta lo que hacen todos los demás viajeros. El resultado no es óptimo. Una aplicación alternativa enviaría a algunos usuarios por una ruta más larga, lo que beneficiaría a muchas personas. La gente puede derrotar esta solución de máximo bienestar social si hace trampa y se niega a sacrificar algún tiempo de conducción por un bien mayor. En algún momento, puede que se prohíba hacer trampa a los autos que se conducen solos. Hasta entonces, los conductores podrían querer cooperar si saben que la aplicación seleccionará a todos por igual para tomar un desvío. Mejor aún, el algoritmo puede ser diseñado de tal manera que no usarlo o no obedecerlo sea la peor opción.
Otro contexto en el que el algoritmo se encuentra con la teoría de juegos es el de las compras. Sobre la base de las compras y las clasificaciones, es posible definir los tipos de usuarios. Una vez que alguien compra algo, esta información permite recomendar cosas adicionales para comprar. La siguiente compra influye entonces en el modelo de la tienda en línea, de nuevo. Esto puede hacer que los compradores converjan en un conjunto limitado de productos. Eso parece inofensivo, pero lo mismo puede suceder cuando las personas usan los medios sociales y leen las noticias en línea. Esto las llevará a una cámara de eco de información unilateral. Una solución puede ser añadir variedad. La información aleatoria no sería bienvenida. Pero los algoritmos pueden seleccionar información justo fuera de la burbuja privada del usuario, o desde un punto de vista totalmente opuesto. Asimismo, los algoritmos de la teoría de juegos también funcionan bien en los mercados de coincidencia. Por ejemplo, ayudan a elegir qué órgano de un donante debe ir a cuál persona receptora para maximizar el número de trasplantes de órganos compatibles.
La teoría de juegos también puede ayudar en el diseño de algoritmos. Esta idea se inició cuando los investigadores dieron las reglas de un juego, como el de Go, a un algoritmo de aprendizaje de máquinas y lo dejaron jugar contra sí mismo para desarrollar capacidades estratégicas. De la misma manera, se pueden desarrollar algoritmos para otros propósitos. Por ejemplo, un algoritmo que reconoce imágenes de gatos se vuelve bueno en ello porque otro algoritmo que genera imágenes de gatos lo desafía muchas veces. Este enfoque también es adecuado para desarrollar algoritmos que se adhieran a normas éticas específicas.
La escala y la adaptabilidad hacen que los algoritmos sean traicioneros.
Los fondos de cobertura reportan años buenos, pero no malos. Los científicos reportan las investigaciones emocionantes, pero no los resultados aburridos o negativos. Esto ha llevado al anuncio de muchos descubrimientos interesantes que luego resultaron imposibles de replicar, como los efectos del vino, el chocolate o el té verde en la salud. En la investigación científica, el problema de la escala surge porque es común que los científicos hagan muchos experimentos e informen solo sobre los que tienen éxito. Los investigadores también realizan muchas pruebas estadísticas diferentes con sus datos e informan solo las que apoyan su hipótesis; esta práctica se conoce como p-hacking.
Una forma de corregir el problema de la escala es usar la “corrección de Bonferroni”, que dice que la probabilidad de que un resultado se produzca solo por suerte –un número que a un investigador le gustaría que fuera bajo– tiene que ser ajustado para tener en cuenta el número de experimentos que se hicieron realmente. No obstante, esta corrección no ayuda al problema de la adaptabilidad. En la investigación científica, este problema toma la forma de adaptar las preguntas sobre los datos con base en lo que los científicos observan durante el análisis. Esto significa que la gente no plantea muchas otras posibles preguntas.
Las decisiones que los científicos toman mientras investigan pueden ser como tomar una bifurcación en un camino. Según los expertos en estadística Andrew Gelman y Eric Loken, los científicos trabajan en un “jardín de los caminos que se bifurcan”. Perderse en él producirá una investigación que puede no ser reproducible. Una manera de evitar estos falsos descubrimientos es requerir el prerregistro de cada estudio. Durante el análisis de los datos, nada en el enfoque puede cambiar. Pero, en la práctica, esto es demasiado estricto. Los científicos a menudo trabajan con los mismos conjuntos de datos que formaron la base de investigaciones anteriores. Y hacen preguntas que se basan en investigaciones anteriores sobre esos datos, por lo que ya están en algún lugar del jardín de los caminos bifurcados. Los investigadores están desarrollando algoritmos que se sitúan entre los científicos y sus datos y limitan su libertad para elegir un camino. Curiosamente, los algoritmos que implementan la privacidad diferencial resultan muy útiles en este contexto.
La inteligencia artificial puede estar en el camino hacia una singularidad.
A los humanos les gustaría ver más cualidades en los algoritmos, pero no han sido capaces de desarrollarlas demasiado. Una es la transparencia: si los humanos pueden entender los modelos de datos que construyen los algoritmos, pueden confiar en ellos. Pero, ¿para quién debería ser interpretable el algoritmo: para los expertos o para las personas con poca experiencia en el aprendizaje de máquinas? ¿Deberían los humanos centrarse en los datos, el algoritmo, el modelo o las decisiones que el modelo toma? Es posible que un modelo que los humanos no puedan entender tome decisiones que sí entiendan. Idealmente, los algoritmos también deberían comportarse moralmente. Por ejemplo, cuando un auto que se conduce a sí mismo se encuentra en una situación de tráfico en la que alguien va a morir y tiene que decidir quién será. El proyecto Máquina Moral del MIT pregunta a la gente sobre estos dilemas para aprender cómo les gustaría que actuaran las máquinas. También es posible que los humanos decidan que los algoritmos nunca deben tomar algunas decisiones, de la misma manera que el filósofo Michael Sandel ha argumentado que existen algunas cosas que los mercados no pueden regular.
Finalmente, algunas personas temen que los algoritmos que implementan la inteligencia artificial puedan ser una amenaza. Estos podrían crear mejores algoritmos, lo que crearía otros aún mejores. Dentro de ese supuesto, una singularidad ocurriría y las máquinas podrían gobernar a los humanos. Si surgiera una inteligencia suprema de este tipo, sería realmente peligrosa. Es imposible predecir cómo se comportaría. Contrarrestarla puede ser difícil. Puede que no permitiera a los humanos desconectarla, porque ello interferiría con algún objetivo. Y no está claro que los humanos puedan garantizar que su objetivo siempre se ajuste a sus valores. Tales escenarios podrían ser demasiado oscuros. Según el experto en inteligencia artificial Andrew Ng, es igual de útil preocuparse por la superpoblación de Marte: podría suceder, pero solo en un futuro muy lejano. Una razón podría ser que el progreso en muchas cosas tiende a disminuir. Aún así, esta es una idea seria. Después de todo, los algoritmos nos siguen sorprendiendo.
Los algoritmos son falibles, pero un mundo sin ellos es impensable.
La gente no puede escapar de los algoritmos. Incluso sin computadoras, los usan para tomar decisiones. Preferiblemente, los algoritmos deben ser precisos. Y la gente renunciaría a mucho si abandonaran el uso del aprendizaje automático. La regulación de los algoritmos es importante, pero la supervisión humana no podrá mantener la escala y la velocidad de la toma de decisiones de los algoritmos. La investigación algorítmica debería resolver los problemas que la toma de decisiones algorítmicas introduce. También debería identificar la medida en que puede satisfacer las demandas que los humanos quisieran hacer de ella. Mientras que la investigación de los algoritmos está en curso, las decisiones que los humanos toman de acuerdo con los algoritmos a veces causan injusticias en el mundo real. Tal vez los algoritmos en muchos dominios son demasiado ingenuos y primitivos. Pero esto no es razón para detener la investigación algorítmica o para dudar de la promesa de los algoritmos éticos.
