Base de Referencia Esencial
Principios Básicos
Aspectos Cruciales de la Transparencia en el Uso Estatal de la IA
      Un enfoque del Secreto Comercial y la Propiedad Intelectual basado en los Derechos Humanos
      Transparencia: Acceso a la Información, Interpretabilidad y Explicabilidad
Marco Operativo para la Aplicación de los Estándares Interamericanos de Derechos Humanos
      Delimitando el Problema
      Principios Transversales
      Diseño
      Aplicación y Funcionamiento
      Monitoreo y Evaluación (M&E)

Base de Referencia Esencial

La base esencial de cualquier adopción de sistemas de IA/ADM por parte de las instituciones estatales para determinaciones basadas en derechos es la obligación de los Estados de respetar los derechos humanos y las libertades fundamentales. Esta obligación conlleva los deberes de prevenir, investigar, sancionar y reparar las violaciones de los derechos humanos. Los estándares interamericanos y el desarrollo de sus implicaciones muestran un conjunto de derechos transversales que se aplican en este contexto y que deben considerarse en su interdependencia, lo que significa que garantizar uno está estrechamente relacionado y depende del cumplimiento del otro.

Una consecuencia importante que se pone de relieve a lo largo de las implicaciones del documento es que los Estados deben contar con los procesos y el aparato adecuados para cumplir tales derechos, incluso para prevenir violaciones o proporcionar un remedio y una reparación efectivos en caso de que lamentablemente se produzcan. Los compromisos asumidos por los Estados ante el Sistema Interamericano vinculan a todas las instituciones estatales y a quienes actúan en su nombre. Los marcos jurídicos deben ajustarse a tales compromisos y cualquier legislación que no se atenga a las normas convencionales exige el control de los tribunales nacionales para establecer la interpretación adecuada o la necesidad de revisión (véase más sobre el “control de convencionalidad” en la sección 1.2).

Principios Básicos

Los principios de que el Estado es garante de los derechos y responsable de su promoción y protección y de que las personas y grupos sociales son titulares de derechos con capacidad y derecho a reclamarlos y a participar¹ son los principios básicos de cualquier uso legítimo de los sistemas de IA/ADM para las decisiones de los organismos estatales que afectan al reconocimiento, disfrute y ejercicio de los derechos humanos.

Esto significa que la actuación de los Estados debe tener como brújula, como objetivo general subyacente, la promoción y protección de los derechos humanos. Como tal, los compromisos de los Estados ante el derecho internacional de los derechos humanos deben guiar la forma en que los Estados organizan su estructura y llevan a cabo sus actividades. Además, el hecho de que las personas y los grupos sociales sean titulares de derechos implica que su relación con las instituciones del Estado conlleva garantías y salvaguardas que los organismos y funcionarios públicos deben cumplir a la hora de llevar a cabo servicios públicos, asistencia social, adjudicación administrativa o judicial, entre otras funciones. Esto incluye la facultad de las personas de impugnar decisiones que nieguen o limiten arbitrariamente sus derechos. Es decir, como titulares de derechos, las personas tienen la capacidad de exigir sus derechos ante las instituciones estatales y de participar en la toma de decisiones públicas. Esta participación no solo es deseable, sino también un derecho exigible y una obligación del Estado². La coordinación de ambos principios también subraya que los Estados son responsables y deben rendir cuentas por sus decisiones que afecten a los derechos humanos, independientemente de si han integrado o no una herramienta de IA/ADM en dichos procedimientos de toma de decisiones.

Las implicaciones de las normas interamericanas de derechos humanos desarrolladas a lo largo de este informe reflejan estos principios básicos esenciales, profundizando en lo que implican en términos de procesos, estructuras y salvaguardias. Estos son los cimientos sobre los que desplegamos un marco operativo basado en los derechos humanos, con recomendaciones para apuntalar el uso legítimo de los sistemas de IA/ADM por parte de las instituciones estatales para determinaciones basadas en derechos.

Además, las implicaciones que esbozamos en cada capítulo de este informe deben impulsar la aplicación del marco operativo como orientación específica para cuando se vean o puedan verse afectados derechos relacionados.

Aspectos Cruciales de la Transparencia en el Uso Estatal de la IA

Un enfoque del Secreto Comercial y la Propiedad Intelectual basado en los Derechos Humanos

Una característica vital del marco operativo desarrollado en la sección 5.4 es un enfoque estricto y coherente basado en los derechos humanos de cualquier limitación al escrutinio público del diseño y funcionamiento de los sistemas de IA/ADM. Las implicaciones expuestas en los capítulos anteriores, especialmente en la sección 4.2, abordan muchas de ellas, como la seguridad nacional y pública. En esta sección, analizamos brevemente las justificaciones empresariales en torno a la protección de los secretos comerciales.

Las empresas de IA/ADM pueden reclamar derechos de secreto comercial sobre los algoritmos y el código fuente de softwares, y argumentar que las auditorías independientes y el escrutinio público de sus sistemas violarían esos derechos. Un secreto comercial es información económicamente valiosa que una empresa hace esfuerzos razonables por mantener confidencial³. En algunas jurisdicciones, los secretos comerciales se consideran una forma de propiedad intelectual (PI). Sin embargo, a diferencia de la PI, como las patentes, los secretos comerciales no se registran ni divulgan públicamente.

La protección de los secretos comerciales puede contribuir a preservar la competencia leal al disuadir del espionaje industrial o comercial y del abuso de confianza. Sin embargo, esas protecciones deben estar en consonancia con el derecho internacional sobre derechos humanos. Del mismo modo, aunque puede ser controvertido y varía según la jurisdicción, si los secretos comerciales se consideran una forma de propiedad, su protección y la de los derechos conexos de los creadores en este marco deben ser coherentes con los derechos humanos.

La Corte Interamericana ha abordado específicamente el derecho al uso y disfrute de las obras intelectuales propias⁴. Deriva del derecho de propiedad, consagrado en el artículo 21 de la Convención Americana⁵, y del derecho a beneficiarse de la protección de los intereses morales y materiales que le correspondan por razón de las producciones científicas, literarias o artísticas de que sea autor (artículo 14.1.c del Protocolo de San Salvador y artículo XIII de la Declaración Americana de los Derechos y Deberes del Hombre)⁶.

Según la Corte, el derecho de uso y disfrute de las obras del intelecto implica una dimensión material - la publicación, explotación, cesión o transferencia de las obras - y una dimensión inmaterial - el vínculo entre el creador y sus obras⁷. El primero se refiere a los intereses materiales del autor, mientras que el segundo se refiere a sus intereses morales, protegidos por el Art. 14(1)(c) del Protocolo de San Salvador y el Art. XIII de la Declaración Americana.

Dado que el Art. 14(1)(c) del Protocolo de San Salvador reproduce prácticamente el artículo 15(1)(c) del Pacto Internacional de Derechos Económicos, Sociales y Culturales (PIDESC)⁸, podemos recurrir al Comité de Derechos Económicos, Sociales y Culturales de la ONU para obtener más información.

El Comité de la ONU ha subrayado que los derechos de propiedad intelectual pretenden fomentar la contribución activa de los creadores a las artes y las ciencias y al progreso de la sociedad en su conjunto⁹. Analizando los elementos del Art. 15(1)(c), el Comité de la ONU considera que sólo el "autor", entendido como el creador humano ("ya sea hombre o mujer, individuo o grupo de individuos") de producciones científicas, literarias o artísticas, puede ser beneficiario de esta disposición. El Comité señala que, aunque las personas jurídicas, como las empresas, pueden ser titulares de derechos de propiedad intelectual en virtud de los regímenes de protección de los tratados internacionales existentes, sus derechos no están protegidos a nivel de los derechos humanos¹⁰. La Corte Interamericana también se ha referido a los autores de obras intelectuales como personas físicas¹¹. Esto está en consonancia con el Art. 1(2) de la Convención Americana, que establece que "para los efectos de esta Convención, persona es todo ser humano".

La protección de los intereses morales y materiales del autor también debe sopesarse con otros derechos humanos. El Comité de la ONU ha subrayado que

“Al tratar de lograr ese equilibrio, no deberían privilegiarse indebidamente los intereses privados de los autores y debería prestarse la debida consideración al interés público en el disfrute de un acceso generalizado a sus producciones. Por consiguiente, los Estados Partes deberían cerciorarse de que sus regímenes legales o de otra Índole para la protección de los intereses morales o materiales que correspondan a las personas por razón de sus producciones científicas, literarias o artísticas no menoscaben su capacidad para cumplir sus obligaciones fundamentales en relación con los derechos a la alimentación, la salud y la educación, así como a participar en la vida cultural y a gozar de los beneficios del progreso científico y de sus aplicaciones, o de cualquier otro derecho reconocido en el Pacto. En definitiva, la propiedad intelectual es un producto social y tiene una función social"¹².

En el contexto del uso estatal de los sistemas de IA/ADM para las determinaciones que afectan a los derechos, las obligaciones fundamentales de los Estados se refieren a derechos específicos afectados y a los principios transversales, como se expone en la sección 5.4. Entre otras obligaciones, los Estados deben evitar la discriminación y garantizar el debido proceso. En consecuencia, aunque el desarrollo de sistemas merece una remuneración adecuada, los intereses materiales no pueden bloquear la capacidad de las personas para comprender una decisión que afecta a sus derechos, ni obstruir la capacidad de las instituciones estatales y de la sociedad para evaluar la fiabilidad y eficacia de los sistemas algorítmicos (véase la sección 5.4).

Además, el Comité de Derechos Económicos, Sociales y Culturales de la ONU ha subrayado que el Art. 15(1) no se basa en una distinción rígida entre los científicos y la población en general¹³. Por el contrario, el Comité de las Naciones Unidas ha afirmado que el derecho de toda persona a participar en la vida cultural incluye el derecho de toda persona a participar en el progreso científico y en las decisiones relativas a su orientación¹⁴. Del mismo modo, para que los individuos y la sociedad puedan disfrutar de los beneficios del progreso científico es necesario fomentar un pensamiento científico crítico más amplio y la difusión del conocimiento científico¹⁵. Según el Comité de la ONU, "los Estados Partes no sólo deben abstenerse de impedir la participación de los ciudadanos en las actividades científicas, sino que deben facilitarla activamente"¹⁶. Los Estados deben hacerlo "especialmente a través de un debate democrático vigoroso e informado sobre la producción y el uso del conocimiento científico"¹⁷.

Dadas las actuales controversias relacionadas con el desarrollo y el uso de los sistemas de IA, ese debate informado es especialmente urgente. En consecuencia, los derechos de propiedad intelectual no deberían obstaculizar la capacidad de los Estados y de la sociedad de basarse en las mejores pruebas científicas disponibles para desarrollar políticas y apoyar la toma de decisiones estatales sobre si adoptar o no, y cómo, una determinada solución tecnológica.

Estas bases sustentan el marco operativo que detallamos en la sección 5.4. Este marco se desarrolla a partir de un enfoque de los secretos comerciales y la propiedad intelectual basado en los derechos humanos, que en última instancia articula por qué los intereses de los autores y las empresas no pueden anular el conjunto de derechos humanos afectados por el uso estatal de los sistemas de IA/ADM, y cómo conocer, evaluar y comprender dichos sistemas es esencial para garantizar estos derechos y cumplir las obligaciones fundamentales de los Estados hacia ellos¹⁸.

Transparencia: Acceso a la Información, Interpretabilidad y Explicabilidad

El primer paso para poner en práctica los compromisos de transparencia es informar a las personas afectadas de que las decisiones que les conciernen involucran la utilización de sistemas algorítmicos. También incluye revelar de forma proactiva qué políticas o iniciativas estatales se basan en sistemas de IA/ADM para actividades y determinaciones que afectan a los derechos. En este sentido, los Estados deben revelar exhaustivamente todos los sistemas de IA/ADM en uso (incluidos los de terceros delegados). Aunque todavía se descuidan en gran medida, cada vez se observan más esfuerzos por cumplir este primer paso básico, tanto por parte de instituciones estatales como académicas, con distintos grados de detalle.¹⁹

En cuanto a la transparencia activa, los Estados deberían, como primer paso básico, revelar, de forma sistemática y fácil de usar, qué sistemas de IA/ADM se utilizan y con qué fines. (sección 4.2)

La divulgación proactiva por parte de las instituciones estatales también debe incluir información importante relacionada con el sistema, el tratamiento de datos personales que conlleva y el marco jurídico, la documentación y el presupuesto que le dan sustentación, así como los derechos de las personas y los medios para ejercerlos (especialmente los derechos relacionados con el debido proceso, la privacidad y la protección de los datos).

Dicha información también debe incluir el marco jurídico correspondiente, las categorías de datos implicados, las instituciones responsables, los desarrolladores o proveedores del sistema, el presupuesto público implicado, las razones y la documentación en que se basa la adopción del sistema y todas las evaluaciones de impacto realizadas. Además, incluyen parámetros de rendimiento, información sobre el flujo de toma de decisiones, incluidos los agentes humanos y de IA, los derechos de las personas afectadas y los medios disponibles para la revisión y reparación. (sección 4.2; véase también la sección 4.5 para información relacionada con el tratamiento de datos)²⁰.

Por ejemplo, los Estados pueden organizar la mayor parte de esta información en un registro público, desglosándola por tipo de tecnología, nombre del proveedor, institución estatal responsable, programa o política relacionados, entre otros. Además, el acceso simplificado a la documentación que justifica la adopción del sistema es un elemento vital que hay que subrayar. Los contratos relacionados, incluidos los acuerdos de compra con desarrolladores/proveedores, los procedimientos de contratación, las actas de las reuniones y los procedimientos/archivos administrativos relacionados con el proceso de toma de decisiones de la institución sobre si desplegar o no el sistema están todos relacionados con el gasto público y deben ser liberados por defecto. Cualquier limitación debe tener un alcance estricto y superar una prueba rigurosa, como se detalla en la sección 4.2.

Esta información es crucial para prevenir y atajar los conflictos de intereses y los actos de corrupción. Las instituciones estatales deben divulgar igualmente los documentos legales relacionados (por ejemplo, las políticas de protección de datos) y sus protocolos relativos al uso del sistema (véase la sección 5.4, "Diseño"). Por lo que respecta al proceso de toma de decisiones de los Estados sobre si adoptar o no (y, en caso afirmativo, cómo) herramientas de IA/ADM para tomar decisiones basadas en derechos, la sección 5.4 hace hincapié en que debe implicar un proceso complejo, participativo y documentado que se articule mejor como una evaluación de impacto sobre los derechos humanos.

Además, existe un conjunto de información complementaria a la que las instituciones estatales deberían tener acceso y poner a disposición del público, idealmente de forma proactiva o a través de solicitudes de información. Incluyen detalles sobre los conjuntos de datos de entrenamiento y prueba del modelo, los conjuntos de datos que la institución utiliza o utilizará para implementar y validar el sistema, y más detalles sobre su rendimiento y precisión²¹.

Todos ellos están relacionados con la transparencia de los modelos algorítmicos, que implica la documentación de la cadena de procesamiento del modelo de IA. Incluye los principios técnicos del modelo, la descripción de los datos utilizados para su concepción y otros elementos que son relevantes para proporcionar una buena comprensión del modelo, relacionándose así con los objetivos de interpretabilidad y explicabilidad²².

Las decisiones basadas en sistemas de IA/ADM deben tener una justificación clara, razonada y coherente. Esto significa que los sistemas empleados para las determinaciones basadas en derechos deben cumplir los objetivos de interpretabilidad y explicabilidad. (sección 4.4)

Podemos distinguir tres niveles de transparencia de los sistemas de IA:²³ 1) Implementación, que se refiere a conocer la forma en que el modelo actúa sobre los datos de entrada para dar como resultado una predicción, incluida la arquitectura técnica del modelo; éste es el nivel estándar de transparencia de la mayoría de los modelos de código abierto. 2) Especificaciones, que se refiere a toda la información que conduce a la implementación resultante, incluidos los detalles sobre las especificaciones del modelo (por ejemplo, la tarea, los objetivos, el contexto), el conjunto de datos de entrenamiento, el procedimiento de entrenamiento, las prestaciones del modelo y otros elementos que permiten reproducir el proceso de implementación: los trabajos de investigación suelen cumplir este nivel de transparencia. 3) Interpretabilidad/explicabilidad, que se refiere a permitir la comprensión humana de los mecanismos subyacentes del modelo (por ejemplo, la razón o la lógica detrás de un resultado) y la capacidad de demostrar que el algoritmo sigue las especificaciones y se ajusta a los valores humanos.

Aunque el nivel de interpretabilidad/explicabilidad suele ser más difícil de alcanzar, sobre todo en función de la complejidad del modelo, la transparencia en los niveles de implementación y especificación es una cuestión de conseguir acceso a la información respectiva o de tenerla a disposición del público. Aunque los Estados deberían dar prioridad a los sistemas de código abierto, gran parte de la información crucial ya está disponible si se pone a disposición del público una documentación coherente del diseño y la implementación del modelo²⁴. La documentación adecuada de las especificaciones del sistema también es vital para permitir una comprensión más amplia de las elecciones y decisiones humanas que conforman el funcionamiento del modelo²⁵, que contribuye a nuestra capacidad para interpretar y explicar las decisiones y predicciones del sistema.

Para alcanzar los objetivos de interpretabilidad y explicabilidad, debemos ser capaces de responder a dos categorías generales de preguntas: “¿Cuáles son las reglas del sistema?” y “¿Por qué son esas las reglas?”²⁶, en otras palabras, “¿Cómo se comporta el sistema?” y “¿Qué justifica que el sistema se comporte así?”.

Esta combinación de preguntas articula tanto las preocupaciones relacionadas con la comprensión de los resultados del sistema como con la comprobación de si su modelo está bien justificado.²⁷ Ello implica facilitar “explicaciones basadas en procesos” que demuestren que el sistema ha seguido procesos de buena gobernanza y buenas prácticas a lo largo de su diseño y uso, así como ofrecer “explicaciones basadas en resultados”²⁸. Esto último implica explicar el razonamiento que subyace a una decisión algorítmica concreta en un lenguaje fácilmente comprensible para el público al que va dirigida. También incluye dar detalles sobre la participación humana en el proceso de toma de decisiones.

Para alcanzar estos objetivos, los Estados que adopten sistemas de IA/ADM para las determinaciones que afecten a los derechos deberían:

• Dar prioridad al desarrollo, adquisición e implantación de sistemas de IA/ADM de código abierto. En cualquier caso, una evaluación adecuada del sistema antes y durante su implantación incluye tener acceso y analizar su código fuente (véase la sección 5.4);
• Poner a disposición del público la documentación de las especificaciones del sistema, estableciendo esto como requisito previo para que los desarrolladores y proveedores puedan contratar con las instituciones estatales;
• Adoptar únicamente modelos que sean interpretables²⁹ o que sigan un planteamiento de explicabilidad mediante el diseño³⁰.

Marco Operativo para la Aplicación de los Estándares Interamericanos de Derechos Humanos

Fuente: Elaboración propia a partir del “Esquema de análisis a partir del aporte del SIDH” en CIDH. Política pública con enfoque de derechos humanos. Aprobado por la Comisión Interamericana de Derechos Humanos el 15 de septiembre de 2018, p. 50. Haga clic en la imagen para ver el diagrama en alta resolución.

Delimitando el Problema

Antes de desarrollar o implantar un sistema de IA/ADM para apoyar la acción y la toma de decisiones del Estado que afecten al reconocimiento y el ejercicio de los derechos humanos, las instituciones estatales deben comprometerse a desencadenar un proceso de toma de decisiones sobre si adoptar o no el sistema que comience con la pregunta ¿Cuál es el problema/cuestión que pretendemos abordar mediante el uso de un sistema algorítmico como parte de una toma de decisiones relacionada con derechos? Esta pregunta lleva a otra, que es: ¿Qué sabemos sobre este problema?

Para responder a esta pregunta es fundamental examinar cuáles son las fuentes de información disponibles para llevar a cabo dicho análisis. Este examen tiene dos vertientes: en primer lugar, si existe suficiente información cuantitativa y cualitativa para llevar a cabo una evaluación situacional del problema a abordar, su contexto general, los grupos afectados y las posibles implicaciones de las soluciones propuestas; en segundo lugar, si se dispone de suficientes datos relacionados con el problema para alimentar adecuadamente un sistema de IA/ADM y conducir a un resultado informado y preciso³¹. Evaluar adecuadamente esto último requiere una comprensión más amplia del contexto, que conecta con el primer componente de este análisis, a fin de identificar posibles lagunas y sesgos en los datos disponibles.

Si la respuesta a este doble examen es negativa, entonces la institución estatal carece de las condiciones apropiadas para adoptar de forma fiable un sistema de IA/ADM en este contexto, y en su lugar deben considerarse otros enfoques o pasos previos. Si la respuesta es afirmativa, sigue habiendo un conjunto de elementos pertinentes que hay que examinar para determinar si un sistema de IA/ADM puede abordar de forma fiable la cuestión o el problema y, más concretamente, si una determinada tecnología o sistema ya considerado por la institución estatal puede hacerlo de forma fiable.

El proceso de toma de decisiones aquí descrito incorpora pasos de una evaluación que las instituciones estatales deben llevar a cabo realmente con la documentación, la transparencia y la participación social adecuadas. Es crucial que lo hagan en colaboración con organizaciones expertas, del mundo académico y de la sociedad civil, comprometiéndose de forma significativa con los grupos y comunidades afectados, e implicando a todos los organismos públicos relacionados con la cuestión/problema a tratar. Este análisis participativo y coordinado debería adoptar la forma de una Evaluación de Impacto en los Derechos Humanos (EIDH), de modo que las instituciones estatales dispongan del marco adecuado para identificar los derechos reforzados y limitados, así como para establecer el enfoque más adecuado en relación con su interferencia en los derechos humanos.

A la luz de los estándares democráticos y participativos interamericanos, este análisis no puede ser una mera formalidad y un ejercicio de box-checking, ni un proceso que se circunscriba a las oficinas y funcionarios estatales, ni un análisis y participación social que se configuren para justificar una decisión ya tomada. Del mismo modo, la puesta en marcha de un proceso participativo, aunque esencial, no es un fin en sí mismo. Es el vector de un análisis sustantivo de los derechos humanos sobre si la política basada en la IA/ADM podría seguir adelante y cómo. Esto significa que este proceso debe evaluarse en relación con el derecho y los estándares de derechos humanos, tanto desde el punto de vista procedimental como sustantivo, y que pueda impugnarse por estos fundamentos.

Los pasos y preguntas que describimos aquí no pretenden agotar el marco de esta evaluación, pero todos ellos son elementos importantes que debe incluir dicho análisis participativo.

Las implicaciones del capítulo 2 ponen de relieve que, si bien el uso por parte de los Estados de sistemas de IA/ADM puede tener el potencial de promover derechos convencionales, su adopción en el contexto de determinaciones basadas en derechos conlleva intrínsecamente al menos una posible restricción o limitación de derechos y libertades, como la privacidad, la autodeterminación informativa y la no discriminación, entre otros.

Como tal, la aplicación de la prueba de las tres partes debería informar sobre cómo las instituciones llevan a cabo esta evaluación. En este sentido:

Principio de legalidad: la evaluación debe identificar cuidadosamente qué derechos están restringidos o limitados dentro de dicha política o procedimiento de toma de decisiones apoyado por IA/ADM. Dicho análisis debe tener en cuenta a las personas, grupos y comunidades afectados, deteniéndose en cuáles de ellos requieren una atención especial. Toda acción del Estado que implique la restricción o limitación de derechos convencionales debe estar prevista en la ley de conformidad con los estándares interamericanos (véanse las secciones 2.1, 2.2 y el artículo 30 de la Convención Americana).

Objetivo legítimo: el Estado debe tener claro cuál es el objetivo legítimo que pretende alcanzar al emplear un sistema algorítmico como parte de su toma de decisiones en materia de derechos. Es decir, la cuestión o problema que el Estado pretende abordar debe traducirse en un fin legítimo y necesario en una sociedad democrática, según los términos convencionales (véase la sección 2.3). Desde la perspectiva de la elaboración de políticas con un enfoque de derechos humanos³², también es relevante que el Estado aclare cómo el objetivo legítimo consiste o se relaciona con la mejora de la protección y/o promoción de los derechos humanos.

Adecuado, Necesario y Proporcionado:

Adecuado - el Estado debe disponer de elementos suficientes que demuestren que la integración de un sistema de IA/ADM en el proceso de toma de decisiones es un medio adecuado para alcanzar el objetivo legítimo perseguido. Esto incluye demostrar que es conducente y puede ser eficaz para alcanzar el objetivo legítimo.

Necesario y proporcionado - una vez cumplidos los pasos anteriores, el uso por parte del Estado de un sistema de IA/ADM para apoyar la toma de decisiones que afectan a los derechos debe ser necesario para alcanzar el objetivo legítimo. Ser "necesario" significa que esta medida no sólo es conducente al objetivo legítimo, sino que también es la menos lesiva para los derechos humanos. Si es así, el análisis debe continuar examinando si la medida es proporcionada. Esto implica sopesar el objetivo legítimo perseguido y los derechos que pretende potenciar frente a los derechos restringidos o limitados, de manera que el sistema y la forma en que integra el proceso de decisión estén calibrados proporcionalmente. Esto significa realizar un ajuste fino para reforzar adecuadamente los derechos reforzados, interfiriendo al mismo tiempo lo menos posible en los derechos limitados. Las implicaciones desarrolladas a lo largo de este informe sirven de guía para este análisis y ajuste. Este proceso incluye la definición de métricas, umbrales, salvaguardias y medidas de mitigación adecuados, teniendo muy en cuenta los grupos que requieren una atención especial, en particular los grupos históricamente discriminados. Si no existe ese equilibrio proporcional, el Estado no puede proceder legítimamente a la adopción del sistema IA/ADM.

Este se trata de un marco general en consideración a la prueba de tres partes. Siempre que se cumplan adecuadamente los pasos relativos a la legalidad y la finalidad legítima, la conclusión de dicho análisis exige un examen más detallado. Hay otros elementos importantes que debemos incorporar al análisis, que se refieren a responder si la adopción de un sistema de IA/ADM puede abordar de forma fiable el problema o la cuestión. Mediante este análisis combinado, los Estados y la sociedad dispondrán de una hoja de ruta para establecer en última instancia si dicho uso es adecuado, necesario y proporcionado, y constituir así una aplicación legítima de los sistemas de IA/ADM por parte de las instituciones estatales en el contexto de las determinaciones basadas en derechos.

La lista de preguntas que figura a continuación articula algunos de los elementos importantes que debe incluir esta evaluación:³³

¿Es un sistema de IA/ADM adecuado para el fin previsto?

El análisis debe afrontar y analizar la posibilidad de que el uso de un sistema de IA/ADM no sea un enfoque adecuado para abordar el problema. Cuando la toma de decisiones relacionada con los derechos en cuestión debe basarse en la prudencia, el razonamiento o la experiencia humanos, y el reconocimiento automático de patrones de los conjuntos de datos disponibles no tiene un papel útil que desempeñar en informar la intervención humana, entonces un sistema basado en algoritmos no será adecuado para el propósito. El mismo problema se plantea cuando el objetivo perseguido es difícil de traducir en variables matemáticas (por ejemplo, la felicidad de la sociedad) y no existen indicadores adecuados que puedan medirse a partir de los datos disponibles³⁴. Incluso si algunos proxies pudieran funcionar, la traducción matemática de un fenómeno social complejo y el uso de proxies relacionados puede no ser el enfoque más adecuado para abordar la cuestión o el problema. En cualquier caso, es esencial evitar la “trampa del formalismo”, es decir, “no dar cuenta del significado completo de conceptos sociales como la equidad, que pueden ser procedimentales, contextuales y contestables, y no pueden resolverse mediante formalismos matemáticos”³⁵. También es esencial considerar el estado actual de la tecnología y sus limitaciones frente a las salvaguardias y derechos que deben aplicarse teniendo en cuenta la finalidad para la que se implantaría el sistema (por ejemplo, exigencia de garantías procesales estrictas en relación con los sistemas no explicables).

Como tal, esta evaluación debe atenerse a los estándares de derechos humanos y a las obligaciones conexas del Estado en virtud del derecho sobre derechos humanos. Es crucial que los Estados se abstengan de adoptar estos sistemas con el único propósito de reducir costes, como si los sistemas automatizados pudieran sustituir a la evaluación humana en la toma de decisiones críticas. También es imperativo que las instituciones estatales no deleguen en sistemas automatizados decisiones políticas intrincadas que exigen el conocimiento y la consideración humanos. Como señalamos, siempre debe aplicarse una supervisión humana adecuada en el contexto de la toma de decisiones estatales relacionadas con los derechos y, en cualquier caso, el Estado sigue siendo responsable de las decisiones y acciones adoptadas en su nombre.

Por lo tanto, esta pregunta es la oportunidad de evaluar realmente si un sistema de IA/ADM se suma eficazmente a la toma de decisiones humana a la hora de abordar la cuestión o el problema y, en caso afirmativo, cómo lo hace. ¿Por qué es mejor utilizar un sistema de IA/ADM que otros enfoques que no impliquen esta tecnología?

Para ello, es importante basarse en la información recopilada previamente para comprender cómo están actuando las instituciones públicas en esta materia y, en caso afirmativo, cómo la aplicación de soluciones algorítmicas favorece la mejora de la situación y la consecución del objetivo legítimo perseguido. Establecer claramente qué se debe abordar y cómo se mide el éxito o el fracaso es clave y debe seguir un enfoque de derechos humanos. Responder a esta pregunta también incluye verificar si la tecnología o sistema específico considerado ha mostrado resultados efectivos en otras implementaciones y las diferencias y similitudes de estas experiencias previas con el contexto social específico en el que el Estado pretende aplicar dicho sistema de IA/ADM.

¿Es fiable esta tecnología o sistema?

Dos aspectos principales indican que un sistema algorítmico no es fiable: el rendimiento deficiente y las vulnerabilidades. Un rendimiento deficiente significa que el modelo no funciona bien en una tarea determinada, lo que puede dar lugar a resultados imprecisos, discriminatorios o perjudiciales por otros motivos. En cuanto a las vulnerabilidades, el modelo funciona bien pero tiene puntos débiles que pueden provocar un mal funcionamiento en determinadas condiciones, incluidas violaciones de la seguridad. Estas disfunciones pueden derivarse de la ejecución regular del software o ser explotadas o provocadas intencionadamente por un adversario con intenciones maliciosas³⁶. La cuestión aquí es, pues: ¿Qué garantías existen de que el sistema funciona bien (incluso de forma justa) y tiene una seguridad robusta?³⁷

Los desarrolladores y proveedores de sistemas de IA/ADM utilizados por las instituciones estatales deben ofrecer garantías suficientes de que sus sistemas funcionan bien y cuentan con sólidos mecanismos de protección contra las vulnerabilidades. Estas garantías deben incluir pruebas de que los desarrolladores tomaron las medidas necesarias para evaluar, prevenir y mitigar los posibles efectos perjudiciales para los derechos humanos, y que sus sistemas cumplen las normas adecuadas de transparencia, imparcialidad, privacidad y seguridad, entre otras características. A su vez, los Estados deben abstenerse de implantar tecnologías de IA/ADM que no ofrezcan estas garantías, lo que incluye sistemas con un historial de violaciones de los derechos humanos.

Este primer paso es esencial, pero no suficiente. Los sistemas previamente sometidos al escrutinio público y a auditorías independientes deben tener preferencia y pueden ser exigidos para decisiones trascendentales. Los mecanismos de certificación independientes y rigurosos también podrían desempeñar un papel en este sentido. Por último, los Estados, como catalizadores de una evaluación de impacto participativa y significativa, deben cumplir sus responsabilidades ante el derecho sobre derechos humanos.

Esto significa que los organismos estatales también deben llevar a cabo su análisis de aspectos cruciales del sistema en colaboración con científicos de datos independientes y expertos de la sociedad civil. Para ello, deben poder tener acceso al código fuente y a los ejecutables del sistema, a los conjuntos de datos de entrenamiento anonimizados y a los materiales de prueba, incluidos los conjuntos de datos de prueba anonimizados. Esto permitiría analizar las variables y los indicadores en los que se basan, así como identificar y medir cualquier sesgo estadístico (incluidos los sesgos por variables omitidas)³⁸. Este análisis debe tener en cuenta no solamente el funcionamiento del modelo algorítmico (“por qué el modelo tomó la decisión que tomó”), sino también el proceso de diseño (“por qué el modelo se diseñó así”). El proceso de diseño implica elecciones y compensaciones que son, de hecho, decisiones políticas que afectarán a los resultados del sistema³⁹. La mejor manera de abordar este análisis es a través de la auditoría del sistema, que debería incluir la colaboración con expertos de la sociedad civil en IA, en la intersección de la tecnología y los derechos humanos, y en el ámbito en el que el organismo estatal pretende implantar el sistema (por ejemplo, salud, seguridad social, seguridad pública). Los resultados de este análisis deben ser públicos e integrar el debate más amplio sobre la adopción o no del sistema de IA/ADM. Es especialmente importante destacar para qué está optimizado el sistema y cómo calibra las preocupaciones de equidad.

Más allá de la evaluación del modelo algorítmico y su proceso de diseño, es esencial considerar cómo interactúa (o interactuaría) con su contexto real de aplicación.

¿Puede el uso de este sistema resolver el problema de forma fiable en el mundo real?

Retomando la primera pregunta de esta lista, es importante analizar si el sistema de IA/ADM es adecuado para el contexto social específico de su supuesta aplicación. Como se ha mencionado anteriormente, el análisis debe examinar si la tecnología o el sistema específico previstos han mostrado resultados beneficiosos en otras implantaciones y en qué medida el contexto social de las experiencias anteriores se asemeja o difiere de la realidad en la que se implantaría. Este análisis debería coordinarse con la auditoría mencionada en la pregunta anterior e integrar una evaluación más amplia de la dinámica, las disparidades y las lagunas existentes, además de las posibles repercusiones de la introducción de una determinada tecnología de IA/ADM con los fines previstos, en este contexto social.

Realizar correctamente este análisis implica al menos dos componentes:

En primer lugar, identificar qué grupos son los más afectados, cómo, y cuáles de ellos requieren una atención especial, analizando tanto los impactos potenciales relacionados como las medidas necesarias para prevenir violaciones de los derechos humanos en caso de que se adopte el sistema de IA/ADM. Recordando la guía de tres pasos para el diseño de políticas (véase la sección 4.3), dicho análisis incluye evaluar el impacto diferencial que tiene o podría tener el uso de este sistema para los grupos en situación de discriminación histórica y los beneficios reales que podría aportar para reducir la brecha de desigualdad que les afecta. También implica consultar de manera significativa a la comunidad en general y a los grupos afectados, incluidas las opiniones y preocupaciones de los grupos históricamente discriminados.

Como destacamos en las implicaciones de la sección 4.3, los Estados deben abstenerse de adoptar decisiones basadas en IA/ADM en contextos que serían incompatibles con los derechos humanos, como las prácticas estatales que reproducen la discriminación sistémica y/o conllevan la elaboración de perfiles raciales. En este sentido, los Estados deben abstenerse de aplicar tecnologías de IA/ADM que tengan un impacto desproporcionado en poblaciones vulnerables y/o reproduzcan de forma inherente opiniones o prácticas discriminatorias reflejadas en conjuntos de datos sesgados utilizados para entrenar el modelo de IA o alimentar el funcionamiento del sistema (véase la sección 4.4). El uso por parte del Estado de tecnologías de reconocimiento facial y predicción policial plantea exactamente estos problemas y debe rechazarse.

El segundo componente, relacionado con el anterior, consiste en examinar cómo interactuarán las personas con el sistema algorítmico y cómo utilizarán sus resultados. Para ello, es crucial identificar y evaluar si hay formas eficientes de abordar los sesgos humanos (e institucionales) en juego. Algunos de ellos reflejan problemas sociales y discriminación institucional que están arraigados y que la interacción hombre-máquina en este contexto reproduciría con una capa adicional de complejidad y opacidad. Cuando es así, como se subraya en el párrafo anterior, avanzar con la implementación es un riesgo inadmisible para los derechos humanos. Otros sesgos son prácticamente inherentes a esta interacción y deben abordarse adecuadamente. El llamado “sesgo de automatización” merece especial atención. Se refiere a la tendencia humana a ver las máquinas como objetivas e inherentemente dignas de confianza. Es importante considerar cómo podría manifestarse esta tendencia en el contexto específico de la aplicación, sus posibles repercusiones, si las medidas de mitigación serían eficientes y cuál sería la mejor manera de garantizar que la supervisión y revisión humanas de los resultados de los sistemas también sean responsables y transparentes.

Las instituciones encargadas de la EIDH deben documentar adecuadamente cada una de estas etapas, lo que será esencial para abordar la siguiente y última pregunta.

¿Es este uso adecuado, necesario y proporcionado?

Si el sistema de IA/ADM no es adecuado para su finalidad y su uso no puede abordar el problema de forma fiable en el mundo real, teniendo en cuenta el contexto social de aplicación, entonces adoptarlo no es una medida adecuada. Seguir adelante será incompatible con la legislación sobre derechos humanos y, por lo tanto, el Estado debe buscar otras alternativas distintas de la IA/ADM para abordar el problema y lograr el objetivo legítimo previsto.

Si realmente supera el umbral de idoneidad, entonces todos los elementos analizados dentro de la EIDH servirán como base esencial para ponderar los beneficios, inconvenientes y peligros de adoptar el sistema de IA/ADM basándose en la prueba necesaria y proporcionada detallada anteriormente en esta sección. La adopción del sistema debe ser la medida menos perjudicial para alcanzar el objetivo legítimo, lo que implica abordar adecuadamente cualquier peligro identificado con medidas de mitigación y salvaguardias sólidas. Cumplir las normas de proporcionalidad también exige un cumplimiento coherente de los principios transversales y la garantía de que el Estado sólo implantará definitivamente el sistema tras las pruebas adecuadas y las calibraciones necesarias para asegurarse de que cumple las normas de diseño acordes con las obligaciones en materia de derechos humanos. A continuación explicamos con más detalle estos requisitos.

Principios Transversales

Desde la evaluación inicial (la primera EIDH) hasta la fase de monitoreo y evaluación existen principios transversales que deben guiar la actuación del Estado en todo el marco operativo. Cada uno de estos principios se relaciona con los derechos que detallamos en este informe y encarnan obligaciones y garantías que las instituciones estatales deben observar. Estos principios transversales son:

• Participación social. Requiere dar un significado concreto y práctico al principio de que las personas y los grupos sociales son titulares de derechos y tienen derecho a participar a través de procesos y mecanismos que permitan una influencia y retroalimentación significativas de la sociedad, prestando atención a los diferentes orígenes, conocimientos especializados y a la necesidad de implicar a los afectados y a los grupos en situaciones de discriminación histórica (véanse las secciones 3.1 y 4.1; también el recuadro “Participación social significativa” de esta sección).
• Acceso a la información. Exige basarse en los deberes que se desprenden del derecho a la información para incorporar la transparencia y la rendición de cuentas en todo el flujo del marco. Esto requiere un enfoque comprometido de los Estados para producir información de forma efectiva y promover la transparencia activa, al tiempo que se aplican restricciones de forma estricta, es decir, sólo dentro de los límites y durante el periodo en que sean realmente necesarias y proporcionadas (véanse las secciones 3.3 y 4.2). Este enfoque debe traducirse en rutinas, estructuras y recursos orientados a consolidar las prácticas de transparencia y los mecanismos de rendición de cuentas en la forma en que las instituciones evalúan y aplican los sistemas de IA/ADM como parte de su toma de decisiones relacionada con los derechos. El cumplimiento de todos los demás principios depende de que éste se cumpla adecuadamente (véase también la sección 5.3).
• Igualdad y no discriminación. Suponen dar protección prioritaria a colectivos en situación de discriminación histórica, adoptando una perspectiva de género y diversidad en la aplicación del marco. Esto significa tener una visión más amplia, ir más allá de las personas y los grupos considerados “normales” o “estándar” para considerar y proteger debidamente los diversos cuerpos e identidades. Para ello es necesario prestar especial atención al funcionamiento interno del modelo, sus métricas, el proceso de diseño, los conjuntos de datos utilizados, la interacción del modelo con los agentes humanos que operan y supervisan su funcionamiento, y a cómo esta combinación integra y afecta al contexto social en el que el sistema está o estará implantado (véase la sección 4.3). Esto último requiere una comprensión profunda de dicho contexto social para no reproducir desigualdades, desatender brechas, profundizar la exclusión e impulsar la injusticia. Para ello, es imprescindible la participación significativa de los afectados y de quienes entienden las realidades implicadas, especialmente de los grupos históricamente discriminados, en todas las fases del marco. Deben diseñarse indicadores que permitan supervisar y evaluar las repercusiones de la adopción del sistema en grupos afectados específicos, prestando atención a los más vulnerables o marginados (véanse las secciones 3.3 y 4.2). La supervisión y revisión humanas de la toma de decisiones algorítmicas, cuando se garantizan de forma adecuada y transparente, también son fundamentales para salvaguardar este principio.
• Privacidad y protección de datos. Exige proporcionar a las personas protección, información y poderes sólidos sobre cómo se procesan sus datos a lo largo del flujo del marco y la aplicación del sistema. La necesidad de salvaguardar la dignidad, la vida privada, la autonomía y la autodeterminación de las personas, incluida la autodeterminación informativa, impregna el uso estatal de los sistemas de IA/ADM para las determinaciones basadas en derechos (véase la sección 4.5) y, por tanto, debe impregnar la aplicación de este marco. Estos derechos y garantías facilitan la capacidad de una persona para desarrollar libremente su personalidad y sus proyectos de vida. El tratamiento de datos debe ser seguro, legítimo y lícito, limitarse a fines específicos explícitos y ser necesario y proporcionado para cumplir dichos fines. Los interesados tienen un conjunto de derechos asociados (por ejemplo, acceso, rectificación, oposición, etc.) que ponen de relieve que no se puede instrumentalizar a las personas mediante el tratamiento de sus datos. Las personas tienen derecho a comprender cómo se procesan sus datos para conformar las percepciones y conclusiones de los organismos estatales sobre quiénes son. Este postulado refuerza la necesidad de una participación social significativa en todo el marco operativo y de garantías procesales sólidas dentro de cada procedimiento de toma de decisiones.
• Debido proceso/ Acceso a la justicia. Exige que la prevención de la toma de decisiones arbitrarias sea el pilar de la actuación del Estado en todas las fases de este marco. Esto significa que dicho principio trabaja como una señal de advertencia para señalar cuándo los esfuerzos por integrar los sistemas de IA/ADM en la toma de decisiones relacionadas con los derechos son inadmisibles y deben detenerse. Por ejemplo, cuando las decisiones deben basarse principalmente en el razonamiento y la prudencia jurídica y humana, o cuando la repetición de patrones en los datos disponibles perpetúa en realidad la injusticia. Impedir la toma de decisiones arbitrarias como piedra angular significa también establecer y observar las condiciones previas que ello conlleva en cada contexto. En general, para la toma de decisiones relacionadas con los derechos del Estado, esto implica tomar decisiones justificadas que las personas puedan entender y cuestionar (véanse las secciones 4.4 y 5.3) mediante una revisión significativa, accesible y rápida. La supervisión y revisión humanas adecuadas también forman parte de esa lista.

Los principios transversales corresponden a un aparato de base con el que deben contar los Estados a la hora de evaluar y adoptar sistemas de IA/ADM para las determinaciones basadas en derechos. En pocas palabras, una participación social significativa exige funcionarios estatales dedicados, presupuesto, procesos y planificación para que no sea un mero ejercicio de marcar casillas. El acceso a la información requiere rutinas y personal para producir, organizar y divulgar información, tanto activamente como en respuesta a solicitudes, así como un organismo de supervisión independiente con poderes suficientes y efectivos. La igualdad y la no discriminación se basa en la estructura necesaria para una participación social significativa, sobre todo para involucrar grupos históricamente discriminados. También implica la movilización de diversos conocimientos expertos dentro y fuera de las instituciones estatales para evaluar adecuadamente el sistema y el contexto social de aplicación y abordar los posibles problemas. Exige un monitoreo continuo de la aplicación del proyecto, con una supervisión humana competente, responsable y transparente de la herramienta y una producción y análisis de indicadores orientados a la diversidad y los derechos humanos. La privacidad y la protección de datos requiere una infraestructura de seguridad y conocimientos especializados. También incluye disponer de un organismo independiente de supervisión de la protección de datos, además de departamentos o funcionarios estatales que puedan desempeñar el papel de responsables de la protección de datos, junto con medidas y rutinas para satisfacer oportunamente los derechos de los interesados. Por último, el debido proceso/acceso a la justicia exige recursos judiciales y administrativos fácilmente accesibles, equitativos y efectivos. También implica estructuras adecuadas para investigar y castigar las violaciones de los derechos humanos derivadas del uso estatal de los sistemas de IA/ADM, garantizando la reparación y la no repetición.

Disponer de este aparato adecuado no es secundario. Se deriva de la obligación de los Estados de prevenir las violaciones de los derechos humanos y de su papel fundamental como garantes de los derechos humanos. Las siguientes etapas del marco operativo también reflejan esta preocupación.

Diseño

La etapa de diseño del marco operativo señala cinco áreas de atención. Algunas de ellas se inspiran en el diagrama de análisis de la CIDH para políticas públicas con enfoque de derechos humanos⁴⁰, lo que también ocurre en las otras etapas (es decir, la aplicación y el monitoreo y la evaluación). A continuación explicamos con más detalle cada una de estas áreas:

Ámbito de utilización del sistema y protocolos conexos (incluida la interacción hombre-máquina). Los resultados de la EIDH realizada en la primera fase servirán de base para definir el ámbito exacto de uso de la herramienta de IA/ADM y la forma en que se integrará en la política o iniciativa del Estado. Los estándares de necesidad y proporcionalidad son fundamentales para adaptar adecuadamente el ámbito de aplicación, lo que incluye establecer las funciones y tareas que se espera que el sistema realice o contribuya dentro de la política o iniciativa de dicho Estado. Junto a esta definición, el establecimiento de protocolos de uso adecuados y exhaustivos es vital para la adopción legítima del modelo por parte de los funcionarios e instituciones estatales. Estos protocolos deben ser públicos como norma, formando parte del cuerpo normativo que regula la política o iniciativa de ese Estado. Cualquier impulso o intento de restringir el acceso a la información sobre dichos procedimientos debe enfrentarse a la prevalencia de las garantías del debido proceso. Como señalamos en las implicaciones de la sección 4.4, las garantías de independencia e imparcialidad significan que las personas, por regla general, saben qué esperar de la toma de decisiones que afectan a sus derechos. Cualquier limitación de acceso que ponga en peligro las garantías del debido proceso cruza la línea de seguridad contra la toma de decisiones arbitrarias que el principio del debido proceso debe representar en el contexto de este informe. Los protocolos deben abordar la gobernanza, la seguridad y el funcionamiento tanto del sistema como de los datos implicados, así como el modo en que los resultados del sistema integran la política o iniciativa estatal en cuestión. Un aspecto crucial se refiere a la interacción hombre-máquina en el funcionamiento del sistema. Los protocolos deben dejar claro el enfoque de supervisión humana adoptado⁴¹, cómo funciona, cuáles son las competencias requeridas, los poderes de supervisión y revisión garantizados y las medidas de control y responsabilidad aplicadas a la intervención (o inacción) humana, incluido cómo se aborda el “sesgo de automatización”⁴². Por último, la implantación de protocolos de uso conlleva una formación adecuada de los funcionarios y agentes que vayan a interactuar con la herramienta, que debe incluir una formación básica tanto en estadística como en los posibles límites y carencias de la herramienta específica de IA/ADM que vayan a utilizar.

Medidas que aborden los riesgos, las deficiencias y las especificidades de los grupos afectados. Basándose en el proceso y los resultados de la EIDH, la fase de diseño debe abordar cuidadosa y eficazmente los riesgos, las lagunas y las especificidades de los grupos afectados, de modo que las posibles limitaciones de derechos se equilibren proporcionalmente con los derechos que el Estado pretende potenciar. Tanto el modelo como las dinámicas hombre-máquina relacionadas deben responder adecuadamente a los resultados del análisis sobre el impacto diferencial que el uso de este sistema tiene o puede tener para los grupos históricamente discriminados y los beneficios reales que puede aportar para reducir la brecha de desigualdad que les afecta. La métrica de equidad es un elemento esencial de esta ecuación y debe reflejar estos resultados. Es importante que esta y otras calibraciones pertinentes se produzcan en esta fase y a lo largo de la utilización del sistema. Si los riesgos, las lagunas y las especificidades de los grupos afectados no pueden abordarse suficientemente, el proyecto no puede avanzar.

Incorporando transparencia y rendición de cuentas. Esto incluye un conjunto de elementos para incorporar la transparencia y la rendición de cuentas no sólo en el funcionamiento del sistema, sino también en la configuración más amplia sobre cómo él integra la política o iniciativa del Estado. Todos ellos parten de la base de que el uso de IA/ADM no desplaza la responsabilidad y la rendición de cuentas de los Estados en cuanto a la integración del sistema en sus actividades, especialmente en el contexto de las decisiones que afectan a los derechos. En consecuencia, las instituciones estatales no deberían adoptar herramientas de IA/ADM cuyos resultados y ciclo de vida de los datos no sean capaces de explicar y/o justificar ante el público. Esto se desprende del hecho de que corresponde a las autoridades estatales, y no a las personas afectadas, demostrar que una decisión basada en IA/ADM no fue discriminatoria o arbitraria. En el nivel de los algoritmos, los planteamientos de explicabilidad son cruciales, y no es apropiado utilizar tecnologías que incluyan razonamientos aleatorios o inexplicables para la toma de decisiones que afecten a los derechos humanos, ya que el Estado no puede cumplir su obligación de demostrar a una persona sujeta a una decisión de este tipo que no fue arbitraria (véase la sección 5.3). En el plano de la interacción hombre-máquina, implica concebir una supervisión humana y protocolos de uso y control adecuados, así como garantizar las condiciones para que funcionen. A nivel de procedimiento, las garantías procesales deben impregnar este nivel y los anteriores, de modo que se observen debidamente las implicaciones de la sección 4.4. Ellas implican la existencia de mecanismos de revisión y reclamación accesibles, significativos (incluidos los humanos) y rápidos, lo que apunta a un nivel institucional. Garantizar que las personas puedan ejercer de forma efectiva todas sus facultades derivadas de la autodeterminación informativa (por ejemplo, acceso, rectificación, oposición, etc.) también exige medidas en estos distintos niveles. En cuanto al nivel institucional, el establecimiento de medidas importantes que se derivan de los principios transversales requiere diseñar una estrategia y garantizar la estructura de acompañamiento al menos en tres frentes: (i) difundir información sobre el sistema, cómo se utiliza, el presupuesto implicado, los resultados de su aplicación como parte de la política o iniciativa, así como los derechos relacionados de las personas y cómo ejercerlos, incluida la existencia de mecanismos de revisión y reclamación; (ii) producir, recopilar y procesar información anonimizada sobre la aplicación del sistema, asegurándose de que los datos resultantes de los mecanismos de revisión, los canales de reclamación y las demandas judiciales se canalizan adecuadamente hacia quienes aplican y evalúan la política o iniciativa basada en IA/ADM; (iii) articular la supervisión pública y la participación social significativa a través de diferentes mecanismos y enfoques (véase el recuadro “Participación social significativa” en esta sección). La difusión de información e indicadores relativos a la política basada en IA/ADM de ninguna manera puede servir para exponer a las personas afectadas y reproducir la estigmatización.

Marco jurídico e institucional. Debe quedar claro cuál es la base normativa y el esquema institucional que sustenta la aplicación del sistema de IA/ADM como parte de una política o iniciativa estatal. La identificación y coordinación de ambos comienzan en la fase previa del marco operativo, ya que el organismo u organismos estatales responsables deben encabezar el proceso de EIDH, involucrando a todas las demás instituciones estatales y no estatales pertinentes. El cumplimiento del principio de legalidad forma parte de esta evaluación, que se refiere a la base normativa. Sin embargo, en la fase de diseño, los resultados de la EIDH deben servir para afinar el marco institucional y normativo correspondiente. Entre otras cosas, este proceso implica coordinar la estructura institucional adecuada para aplicar, supervisar y evaluar la política o iniciativa, definiendo funciones y responsabilidades claras entre las instituciones implicadas; establecer estrategias para agilizar los arreglos o cambios pertinentes; y asignar y planificar el presupuesto necesario para aplicar adecuadamente la política o iniciativa basada en IA/ADM (que va más allá de la adquisición o el desarrollo de la propia herramienta para abarcar los procesos, el personal y las estructuras necesarios prestando atención a los principios transversales). La diversidad, la multidisciplinariedad y los conocimientos adecuados de las personas directamente involucradas en la aplicación son fundamentales para garantizar su correcto funcionamiento. También lo es concebir la gobernanza del proyecto para permitir la supervisión pública y una participación social significativa.

Procesos e indicadores de monitoreo y evaluación (M&E). En estrecha relación con la integración de la transparencia y la rendición de cuentas, así como con la garantía de un marco institucional adecuado, es esencial diseñar cómo se supervisará y evaluará la política o iniciativa basada en la IA/ADM. Cuáles son los indicadores pertinentes y cómo las instituciones responsables los recopilarán, organizarán y pondrán a disposición del público. Los procesos de monitoreo y evaluación deben desglosar los indicadores por género, etnia y otros elementos relevantes de la diversidad, como el estatus socioeconómico, la edad, la discapacidad, etc. También deben incluir indicadores específicos de derechos humanos. El diseño de los procesos de monitoreo y evaluación debe articular las rutinas, métricas y canales necesarios para permitir que todos los elementos incluidos en la fase de monitoreo y evaluación de este marco operativo se evalúen adecuadamente.

Una vez cubiertas estas cinco áreas, la política o iniciativa basada en IA/ADM debe ponerse en marcha en un pequeño programa piloto para comprobar si todo funciona según lo previsto y si el uso del sistema de IA/ADM es un medio adecuado y proporcionado para alcanzar el objetivo legítimo y declarado antes de implantarse en gran medida. Esto permite la comparación con una situación de control de referencia que debe hacerse pública para que las organizaciones de expertos y los grupos afectados puedan opinar sobre su eficacia y el cumplimiento de las normas de derechos humanos.

Aplicación y Funcionamiento

Una vez superada con éxito la fase de diseño, la(s) institución(es) estatal(es) encargada(s) del proyecto puede(n) pasar a su plena ejecución y funcionamiento. En esta fase, es fundamental que todas las áreas funcionen correctamente siguiendo las especificaciones, la planificación y los procesos diseñados. También en este caso esbozamos cinco áreas de atención:

Fiabilidad, Accesibilidad, Contestabilidad, Adaptabilidad. Cumple garantizar que la política o iniciativa basada en IA/ADM sea fiable, accesible, contestable y adaptable. La fiabilidad engloba los elementos que hemos analizado anteriormente al delimitar el ámbito del problema o cuestión, sobre todo al abordar las preguntas sobre si la tecnología o el sistema eran fiables y si su uso podía resolver el problema de forma fiable en el mundo real. En pocas palabras, significa desempeñarse bien en la tarea asignada y tener una seguridad robusta. Evaluar la primera requiere fijarse en el desempeño del modelo, la interacción entre la herramienta y los agentes humanos involucrados, así como la forma en que este sistema se integra en su contexto social de aplicación y repercute en él. La fiabilidad también está relacionada con la calidad general de la política o iniciativa de IA/ADM en términos de alcanzar el objetivo legítimo y potenciar derechos. Accesibilidad significa que la política o iniciativa no es excluyente, especialmente que su componente de IA/ADM no implica barreras logísticas o técnicas. No debe existir ningún obstáculo de este tipo para acceder a los beneficios de la política o a las garantías aplicadas al uso del sistema, como los derechos asociados a la protección de datos y los mecanismos de revisión y reclamación. La impugnabilidad requiere un acceso fácil y equitativo a recursos administrativos y judiciales que sean eficaces y rápidos. Esto incluye un mecanismo de revisión significativo aún a nivel administrativo que garantice un análisis humano adecuado y responsable. La contestabilidad también implica que las personas sepan que están sujetas a un procedimiento de toma de decisiones y puedan comprender la lógica subyacente de dicha decisión. Por último, significa que los sistemas deben poder ser auditados por expertos independientes en nombre de las personas y comunidades afectadas. La adaptabilidad exige un análisis y monitoreo continuos de la aplicación del sistema, recopilando datos debidamente anonimizados sobre su funcionamiento y resultados, comparando los resultados para comprobar los avances hacia el objetivo fijado y comprobando si los procesos, estructuras y garantías asociados funcionan según lo previsto. Todo ello debe documentarse y dar lugar a los ajustes necesarios.

Rutinas y aparatos para cumplir los principios transversales. Conectada con la adaptabilidad, esta área de atención recuerda que la aplicación adecuada de la política o iniciativa basada en la IA/ADM requiere rutinas y aparatos de las instituciones estatales capaces de responder a las demandas que se desprenden de los principios transversales (véase "Principios transversales" más arriba, en esta sección). La fase de diseño tiene por objeto colmar las lagunas y estructurar las tareas en los cinco ámbitos de atención descritos anteriormente (véase “Diseño”, en esta sección). Para que la aplicación de la política o iniciativa basada en la IA/ADM siga adelante, deben establecerse las rutinas y el aparato adecuados para prevenir las violaciones de los derechos humanos y cumplir debidamente las normas de derechos humanos.

Conocimientos especializados y asignación de recursos adecuados. Va de la mano de disponer de las rutinas y los aparatos adecuados para cumplir los principios transversales y respetar los derechos humanos. Para ello es necesario que las instituciones y las personas involucradas cuenten con los conocimientos necesarios para desempeñar su función, desde los agentes humanos que interactúan directamente con la herramienta hasta una institución de supervisión y sus funcionarios; desde el personal que elabora y organiza los indicadores relacionados con el uso del sistema hasta quienes evalúan las quejas y recogen las opiniones de la comunidad afectada, por poner algunos ejemplos. La movilización de los conocimientos adecuados también debe contar con expertos independientes del mundo académico y de la sociedad civil, con un enfoque diverso y multidisciplinar, mediante una colaboración que no sustituya las responsabilidades de los Estados en este contexto. Esto significa que los Estados deben asignar recursos suficientes y mantenibles -humanos y financieros- para garantizar que las rutinas, los aparatos y los conocimientos adecuados puedan poner en marcha el diseño basado en la EIDH ideado en la etapa anterior (véase “Diseño”, también en esta sección).

Cooperación, coordinación y supervisión institucionales. En relación con las áreas anteriores, esta destaca la importancia de la cooperación y coordinación institucional teniendo en cuenta las funciones y responsabilidades consolidadas en la fase de diseño (véase “Marco jurídico e institucional” más arriba). Es pertinente aprovechar la experiencia combinada de las entidades estatales para englobar a las autoridades de protección de datos y, en su caso, a los organismos relacionados con la ciencia y la tecnología, la educación, la salud, la justicia, etc. El intercambio de información clara sobre fallos y problemas conocidos debe alimentar estos mecanismos de cooperación y coordinación. Además, una pieza crucial de este marco institucional es garantizar una supervisión independiente adecuada. Son posibles diferentes acuerdos: puede ser la autoridad de protección de datos, u otra autoridad que centralice la supervisión del uso estatal de los sistemas de IA/ADM, o las instituciones encargadas de esta función pueden variar en función del contexto de uso del sistema y del campo de aplicación. En cualquier caso, debe ser independiente de los responsables de la aplicación del sistema y contar con las competencias, la experiencia y el presupuesto necesarios para cumplir su cometido. La supervisión institucional también puede beneficiarse de un ecosistema de supervisión más amplio formado por entidades de interés público (como las Defensorías del Pueblo), defensorías públicas, entre otras que puedan existir en cada contexto nacional.

Supervisión pública. La supervisión institucional debe alimentar una supervisión pública más amplia y viceversa. En primer lugar, es importante que las instituciones encargadas de supervisar la aplicación del sistema dispongan de canales y mecanismos de participación eficaces. A través de ellos, las instituciones de supervisión pueden consultar y recibir comentarios de las personas y comunidades afectadas, así como establecer dinámicas de colaboración con el mundo académico y la sociedad civil. Tanto las instituciones que dirigen la aplicación como las que se encargan de la supervisión deben tomar medidas para garantizar que los procesos y mecanismos diseñados para difundir información sobre la política basada en IA/ADM funcionan y llegan adecuadamente al público en general, así como a los directamente afectados (véanse la sección 5.3 y “Incorporación de la transparencia y la rendición de cuentas” en esta sección). También deben asegurarse de que los mecanismos de revisión y los procesos de retroalimentación (i.e. reclamaciones, encuestas y participación) sean eficaces y se tengan debidamente en cuenta en la aplicación del sistema, por ejemplo, para señalar las correcciones necesarias. Las comunidades afectadas, las organizaciones de la sociedad civil y la prensa, entre otros, tienen un papel que desempeñar aprovechando la información, los procesos y los mecanismos existentes para supervisar la aplicación de la política o iniciativa y presionar a las instituciones responsables para que los resultados respeten los derechos humanos. Esto incluye participar en la evaluación continua del uso del sistema, alimentando la supervisión continua de las instituciones y participando en evaluaciones periódicas del impacto sobre los derechos humanos.

Participación social significativa

Una participación cívica significativa en todo el proceso de toma de decisiones sobre el desarrollo, la adquisición, la aplicación y la evaluación de políticas o iniciativas públicas basadas en la IA/ADM es una parte esencial para garantizar la igualdad y la no discriminación, el debido proceso, la autodeterminación, la protección social y, en última instancia, los fundamentos de un Estado democrático. Debe ir de la mano del cumplimiento del derecho y los estándares de derechos humanos, que los mecanismos participativos deben potenciar, y no comprometer.

Los mecanismos de participación pueden adoptar formas múltiples y complementarias, y deben incluir a los grupos históricamente discriminados y a las personas y comunidades afectadas. Este marco operativo pretende articular algunos mecanismos y estructuras. Implican un compromiso significativo y coherente con las comunidades afectadas, la auditoría del sistema en colaboración con científicos de datos independientes y expertos de la sociedad civil, no sólo en campos relacionados con la tecnología, sino también en derechos humanos, el impacto diferencial que sufren los grupos vulnerables y otras áreas específicas afectadas (por ejemplo, salud, protección de la infancia, justicia penal, etc.), procesos de consulta más amplios, mecanismos de retroalimentación y queja, participación cívica dentro de las instituciones de supervisión y coordinación con órganos públicos que abogan por el interés de la sociedad⁴³ como piezas móviles de una evaluación continua basada en derechos humanos de las iniciativas estatales apoyadas por IA/ADM. Sin embargo, no cabe duda de que hay margen para mejorar las formas innovadoras y eficaces de participación. Los agentes estatales, la sociedad civil y el mundo académico deberían aprovechar los conocimientos compartidos sobre métodos participativos para idear y establecer una participación y supervisión públicas más sólidas en este contexto⁴⁴.

La Alianza para el Gobierno Abierto proporciona algunos estándares importantes a tener en cuenta para llevar a cabo esta tarea, como establecer un espacio permanente para el diálogo y la colaboración; proporcionar información abierta, accesible y oportuna sobre las actividades relacionadas; y fomentar oportunidades inclusivas e informadas para la cocreación. Se basan en principios rectores que añaden mayor contenido a los compromisos gubernamentales en materia de transparencia, participación inclusiva y rendición de cuentas⁴⁵.

Un aspecto relevante que subrayamos en la sección 3.1 es que los Estados deben especificar claramente cómo los aportes provenientes de los mecanismos de consulta y participación informan el diseño, implementación y evaluación de su uso de los sistemas de IA/ADM. También resaltamos que los mecanismos participativos interamericanos en el contexto de las comunidades indígenas y afrodescendientes aportan valiosos modelos y lecciones para una participación significativa, especialmente los relacionados con la consulta previa, libre e informada a las comunidades afectadas. Algunos de ellos son:

• La consulta no es un acto singular, sino un proceso de diálogo en el que se facilita información clara, accesible y completa con tiempo suficiente para permitir un compromiso adecuado⁴⁶;
• La consulta de buena fe requiere la ausencia de cualquier tipo de coacción y debe ir más allá de los procedimientos meramente pro forma⁴⁷;
• No tener debidamente en cuenta los resultados de la consulta es contrario al principio de buena fe⁴⁸;
• Las decisiones resultantes del proceso de consulta están sujetas a las autoridades administrativas y judiciales superiores, a través de procedimientos adecuados y eficaces, para evaluar su validez, pertinencia y el equilibrio entre los derechos e intereses en juego⁴⁹.

En este sentido, cabe recordar la formulación del Comité DESC de la ONU sobre el derecho de toda persona a participar en el progreso científico y en las decisiones relativas a su orientación (véase la sección 5.3). El uso por parte de los Estados de sistemas algorítmicos para determinaciones que afecten a los derechos no debe hacer caso omiso de estas garantías.

Monitoreo y Evaluación (M&E)

El monitoreo continuo de la política o iniciativa basada en la IA/ADM, incluido el funcionamiento del sistema, debe tener lugar paralelamente a su aplicación y funcionamiento. Pone en marcha procesos e indicadores concebidos y coordinados en la fase de diseño (véase “Procesos e indicadores de monitoreo y evaluación”), que deben incluir auditorías periódicas y evaluaciones del impacto sobre los derechos humanos (EIDH). Al igual que en la fase de determinación del ámbito de aplicación, las EIDH periódicas deben incorporar los resultados de auditorías exhaustivas para articular un análisis más amplio y participativo basado en los estándares de derechos humanos. Como tal, hay un conjunto de preguntas que la primera EIDH tras la implantación del sistema, así como las siguientes, deben abordar para analizar si la institución estatal debe seguir utilizando el sistema de IA/ADM y, en caso afirmativo, cómo. Las preguntas que figuran a continuación no son exhaustivas, pero todas son pertinentes para este análisis.

• ¿Se potencian los derechos y se satisface el objetivo legítimo?
• ¿Está contribuyendo el uso del sistema a superar las desigualdades detectadas?
• ¿Son necesarias y proporcionadas las limitaciones de derechos?
• ¿Se abordan adecuadamente los posibles impactos diferenciales?
• ¿El sistema funciona bien y de manera responsable y transparente?
• Cumple adecuadamente su función la supervisión humana?
• ¿Es legítimo, proporcionado y seguro el tratamiento de datos? ¿Está el sistema protegido contra las vulnerabilidades?
• ¿Se cumplen adecuadamente los principios transversales?
  • ¿Los mecanismos de revisión y reclamación son significativos, accesibles y eficaces? ¿Facilitan los procesos de monitoreo y evaluación y los ajustes en la aplicación del sistema?
  • ¿Los indicadores de monitoreo y evaluación captan de forma fiable el contexto social de aplicación y las comunidades afectadas? ¿Están debidamente desglosados teniendo en cuenta los grupos históricamente discriminados y vulnerables, especialmente aquellos que requieren una atención especial en el contexto de la política o iniciativa?
  • ¿Se facilita debidamente a las personas afectadas y al público información sobre la política o iniciativa basada en IA/ADM, incluido el sistema algorítmico? (véase la sección 5.3)
  • ¿Se garantizan los medios para ejercer los derechos de los interesados de forma fácil, oportuna y completa?
  • ¿Está el aparato estatal suficientemente equipado y coordinado para llevar a cabo esta política o iniciativa basada en IA/ADM respetando los derechos humanos?
  • ¿Permiten las rutinas, procesos y estructuras institucionales la supervisión pública y la participación social significativa, incluida la de los grupos históricamente discriminados?
• ¿Se abordan adecuadamente las obligaciones de prevención y reparación de los Estados?

Responder a estas preguntas implica disponer de información coherente sobre el funcionamiento, los fallos y los problemas del sistema, la forma en que integra la política o iniciativa, y los resultados de la política o iniciativa hasta el momento. También implica la labor comprometida y competente de las instituciones de supervisión. La evaluación debe basarse en una retroalimentación significativa de las personas afectadas a través de encuestas, consultas u otros instrumentos apropiados, prestando atención a los grupos históricamente discriminados. Los datos anonimizados procedentes de los mecanismos de denuncia y de las impugnaciones administrativas y judiciales son también una aportación vital para el proceso de la EIDH. Por último, las instituciones que dirigen la evaluación deben proporcionar medios sustanciales para la participación de las comunidades, los expertos, el mundo académico y las organizaciones de la sociedad civil.

Culminando el análisis y basándose en las preguntas anteriores, el M&E y la EIDH deberían finalmente evaluar:

¿Debe el Estado seguir utilizando un/este sistema de IA/ADM? En caso afirmativo, ¿qué debe continuar y qué debe cambiar? ¿Por qué?

Las implicaciones desarrolladas a lo largo de este informe (véanse los recuadros con las "implicaciones") proporcionan orientaciones específicas que los Estados deben tener en cuenta al llevar a cabo la EIDH y otros procesos de monitoreo y evaluación. Es crucial que las instituciones responsables dejen claro cómo examinaron las cuestiones pertinentes, incluida la forma en que analizaron e incorporaron las aportaciones procedentes de los mecanismos de reclamación, encuesta y participación. La diversidad, la multidisciplinariedad y los conocimientos adecuados de las personas responsables son fundamentales para que los procesos de monitoreo y evaluación y la EIDH sean significativos. La evaluación debe documentarse adecuadamente y las instituciones estatales deben difundir información sobre los resultados de la evaluación, incluso poniendo a disposición del público el informe de la EIDH.

Notes