IA y gobernanza

¿Puede un algoritmo de IA o una máquina predecir la conducta o el comportamiento humano? A la fecha no, son sólo herramientas que dan una aproximación o que pueden condicionar un comportamiento o una conducta con refuerzos que pueden ser riesgosos si son mal utilizados. Ante ello, ¿sería recomendable el uso de estos algoritmos para la toma de decisiones por parte de autoridades de un país? Posiblemente, si es que se transparenta cómo se han entrenado esos algoritmos de IA y, finalmente, un grupo de expertos debaten sobre los resultados que da una máquina.

¿Qué pasa cuando ya se usan estos algoritmos por parte de un gobierno y éste no transparenta cómo han sido entrenados, qué datos usan y bajo qué principios y cuestionamientos pueden realizar una aproximación sobre una conducta humana (algoritmos de caja negra: el usuario no puede ver la forma interna de funcionamiento del algoritmo, sabe qué datos entran, pero no cómo es que se crean los que salen), sin tener sesgos sociales o políticos? Cómo sociedad, ¿no deberíamos exigir a un gobierno que ya utiliza la IA para la toma de decisiones, transparentar cómo se usa y bajo qué preceptos se ha entrenado al algoritmo para conocer que no haya sesgos que pongan en riesgo una vida, un derecho o una libertad humana? Es un derecho que todos tenemos: exigir en qué, por qué, dónde y cómo se usan nuestros impuestos.

En México se desconoce si algún algoritmo de IA ya se está utilizando para decidir qué persona tiene derecho, por ejemplo, a un bono o ayuda social, a ser parte de un programa, a ser atendido rápidamente por parte de una institución de seguridad social o inclusive a ser o no sentenciado por más tiempo en una cárcel o ser un riesgo para la sociedad (sólo existe la “IA de Hacienda” que es una machine learning para analizar facturas, o eso es lo que se explica por parte de la autoridad). Pero en países como Estados Unidos, Reino Unido, Alemania y España ya ocurre esto, sin que la sociedad tenga la certeza de que este tipo de algoritmo cuente con los preceptos correctos y no contenga sesgos políticos y sociales, lo cual es un riesgo de usar una herramienta que no es transparente y que al ser desarrollada, comprada o rentada con los impuestos de la gente se le esconda lo que está detrás de un algoritmo que ya toma decisiones sobre una vida, un derecho o una libertad humana.

Tal vez no tenga mucho espacio para comentarles todos los que he estudiado últimamente para entender más sobre el uso de la IA en la cotidianidad, pero deme la oportunidad de platicar rápidamente de RisCanvi, el algoritmo que predice la reincidencia de los presos en España, y que ha causado un revuelo en las esferas del derecho, lo social y hasta lo político.

En esa nación, para que un preso pueda tener permisos penitenciarios o ser libre, el juez recibe un informe técnico, elaborado por los profesionales de la cárcel, donde se valora todo tipo de circunstancias para que, efectivamente, el reo pueda disfrutar de un tercer grado, de una libertad condicional, de una libertad vigilada, etcétera. Desde hace varios años, en Cataluña, valorar por ejemplo la posibilidad de que un recluso sea reincidente, lo hace un algoritmo. Es el llamado protocolo RisCanvi, una herramienta que recopila una gran cantidad de datos de los presos desde que comienzan su ciclo carcelario y que, después de un tiempo, arroja un resultado sobre el riesgo de reincidencia: bajo, medio, alto o extremo.

En un estudio recientemente publicado sobre Tasa de reincidencia Penitenciaria 2014 en Cataluña se ofrecen, entre otra información de gran interés, los resultados de aplicar el RisCanvi como herramienta de valoración del riesgo de violencia a un conjunto de internos, y la comparación entre el riesgo de reincidencia violenta predicho y la reincidencia violenta efectivamente observada. En dicho estudio se valora muy positivamente la capacidad predictiva del RisCanvi. Sin embargo, el análisis hecho por especialistas sugiere que podría haber sesgos, ya que el modelo se creó para temas de alta violencia (como son  agresiones a mujeres, violaciones y pedofilia), y que debe hacerse una interpretación diferente de los datos que conduce a conclusiones menos optimistas.

Ello se debe a que es necesario diferenciar con claridad entre sensibilidad y valor predictivo, y entre estimaciones de riesgo relativas y absolutas, por lo que aconseja utilizar tanto el RisCanvi como otros instrumentos de valoración del riesgo con mucha prudencia en determinados contextos, especialmente cuando de estas valoraciones dependan decisiones sobre la libertad u otros derechos fundamentales de los internos.

Lo peor en este caso es que, a pesar de que este modelo se aplica desde hace ya varios años en España, la autoridad no ha querido transparentar cómo se entrenan estos modelos de IA para observar si hay sesgos sociales o políticos, a pesar de las presiones sociales y de abogados. Las herramientas de IA son sólo eso, más no deben usarse para tomar decisiones sobre las conductas y/o comportamientos humanos sin tener un panel de expertos que debatan y lleguen a resultados usando algo que jamás va a sustituir ninguna máquina: el cerebro, la experiencia y la intuición humana.