Cuando un organismo público o una empresa utiliza un sistema automatizado para denegar una prestación, señalar a una persona para investigarla o rechazar un contrato, ¿qué puede hacer realmente la persona afectada? La ley ofrece tres instrumentos distintos: un derecho a una explicación (para saber por qué), un derecho a una revisión humana (para que una persona reconsidere la decisión) y un derecho de apelación (para llevar el asunto ante un órgano independiente). Entre 2023 y 2026, estos instrumentos cambiaron sustancialmente. El Tribunal de Justicia de la Unión Europea (TJUE) sostuvo en SCHUFA (C‑634/21, 2023) que una puntuación crediticia puede ser en sí misma una decisión automatizada y, en Dun & Bradstreet Austria (C‑203/22, 2025), que las personas tienen derecho a una explicación de «el procedimiento y los principios efectivamente aplicados»; el Reglamento de IA de la UE añadió un derecho a explicación para las decisiones basadas en sistemas de alto riesgo; el Consejo de Europa adoptó el primer tratado vinculante sobre IA; el Reino Unido reformuló sus normas sobre decisiones automatizadas; y las normas federales y estatales de EE. UU. introdujeron obligaciones de apelación y revisión humana. Este estudio presenta un mapa de estos derechos, los compara y pregunta qué dice la evidencia de casos reales sobre los mecanismos que ayudan a las personas en la práctica.
Hallazgos principales
- La UE cuenta ahora con un estándar viable de explicación. En Dun & Bradstreet Austria, el TJUE sostuvo que los responsables del tratamiento deben describir el procedimiento y los principios efectivamente aplicados para que las personas puedan entender qué datos se utilizaron y cómo; comunicar simplemente un algoritmo no basta, y las objeciones basadas en secretos comerciales deben someterse a un tribunal o a una autoridad de control para que estos ponderen los intereses en juego.
- Se ha ampliado el alcance de la «decisión automatizada». En SCHUFA, el TJUE sostuvo que una puntuación constituye una decisión individual automatizada conforme al artículo 22 del RGPD cuando el cliente le atribuye «un papel determinante».
- El artículo 86 del Reglamento de IA es más limitado de lo que parece. Abarca las decisiones basadas en sistemas de alto riesgo del anexo III que producen efectos jurídicos o efectos igualmente significativos, se aplica solo cuando el Derecho de la Unión no prevé ya ese derecho y depende de obligaciones relativas a los sistemas de alto riesgo cuya aplicación el Digital Omnibus de 2026 aplazó al 2 de diciembre de 2027.
- Las jurisdicciones convergen en un conjunto común de medidas —notificación, motivos, intervención humana e impugnación—, pero difieren en cuanto a si las decisiones exclusivamente automatizadas están prohibidas en principio (UE) o se permiten con salvaguardias (Reino Unido después de 2025, Colorado y organismos federales de EE. UU.).
- En la práctica, los derechos individuales rara vez han detenido sistemas perjudiciales. Los casos bien documentados —SyRI, Robodebt, el modelo neerlandés de prestaciones por cuidado infantil y MiDAS— se frenaron mediante litigios estratégicos, acciones colectivas, autoridades reguladoras e investigaciones; las apelaciones individuales ayudaron a algunas personas, pero lentamente.
- La calidad de la revisión humana depende de la información, el tiempo y la autoridad de quien revisa. La evidencia de los Países Bajos y Serbia muestra que quienes revisaban las decisiones deferían a sistemas que no podían examinar en profundidad.
Pregunta de investigación y alcance
El estudio plantea dos preguntas relacionadas: ¿qué derechos legales a una explicación, a una revisión humana y a una apelación existen ahora para las personas sujetas a decisiones automatizadas, y qué demuestra la evidencia sobre cuáles funcionan? Abarca el Derecho de la UE (RGPD, jurisprudencia del TJUE y Reglamento de IA), el Convenio Marco del Consejo de Europa, el Reino Unido y las medidas federales y estatales de EE. UU.; también hace referencia a Francia cuando la OCDE documenta sus normas. Se centra en las decisiones del sector público, pero incluye la evaluación privada de la solvencia crediticia porque las principales sentencias del TJUE se refieren a ella y su razonamiento se aplica a los responsables públicos del tratamiento.
Antecedentes
Tres derechos, tres funciones
| Derecho | Pregunta a la que responde | Forma jurídica habitual | Principal debilidad |
|---|---|---|---|
| Explicación | ¿Por qué se decidió esto sobre mí? | Acceso a «información significativa sobre la lógica aplicada»; exposición de motivos | Puede ser formal, genérica o estar bloqueada por el secreto |
| Revisión humana | ¿Volverá a examinarlo una persona? | Derecho a «obtener intervención humana» | Quien revisa puede carecer de información, tiempo o autoridad |
| Apelación | ¿Puede un organismo independiente revocarlo? | Recurso administrativo, tribunal, juzgado, reclamación ante el organismo regulador | Lenta, costosa, individualizada |
Las tres dependen unas de otras. Sin una explicación, se pide a quien revisa o al tribunal que compruebe un resultado sin conocer sus motivos; sin una apelación independiente, la revisión humana puede convertirse en un trámite dentro de la misma organización.
El debate académico
Poco después de la adopción del RGPD, Wachter, Mittelstadt y Floridi (2017) sostuvieron que el Reglamento no establecía un «derecho a la explicación» jurídicamente vinculante de las decisiones automatizadas individuales y que, como máximo, reconocía el derecho a ser informado sobre la funcionalidad del sistema. Edwards y Veale (2017) argumentaron que, cualquiera que fuera su alcance, el derecho a la explicación era «probablemente no el remedio que se busca», porque traslada la carga a las personas y porque es difícil ofrecer explicaciones significativas de modelos complejos; señalaron otras herramientas, como las evaluaciones de impacto. Wachter, Mittelstadt y Russell (2018) propusieron las explicaciones contrafácticas —enunciados sobre qué tendría que haber sido diferente para obtener un resultado distinto— como una forma de informar a las personas sin revelar el modelo. La sentencia del TJUE de 2025 puede interpretarse como la adopción de una versión de esta idea.
Método y fuentes
El estudio se basa en textos jurídicos primarios (RGPD, UK Data (Use and Access) Act 2025, AI Act en su versión modificada, Convenio del Consejo de Europa, Memorando OMB M‑25‑21, leyes de Colorado, reglamentos de California), comunicados de prensa oficiales del TJUE sobre SCHUFA y Dun & Bradstreet Austria, y estudios académicos revisados por pares. Las pruebas sobre la práctica proceden de los estudios de caso incluidos en el estudio comparativo de Polity Atlas sobre la aplicación automatizada de las normas de acceso a las prestaciones sociales y de sus estudios sobre el escándalo neerlandés de las prestaciones por cuidado infantil y Robodebt.
Limitaciones. Las sentencias del TJUE se resumen a partir de los comunicados de prensa del propio Tribunal, que este describe como no oficiales; para más detalles, deben consultarse los textos completos. Varios regímenes son recientes o aún no son plenamente aplicables, por lo que hay pocas pruebas de sus efectos. Los sitios web del Consejo de Europa no estaban accesibles cuando se verificó este estudio, por lo que los artículos del Convenio se consultaron en el texto auténtico en inglés publicado en la base de datos de tratados del Gobierno neerlandés; aquí no se indica su estado actual de ratificación.
Hallazgo 1: el derecho de protección de datos de la UE tras SCHUFA y Dun & Bradstreet
El punto de partida: los artículos 22 y 15 del RGPD
El artículo 22(1) del RGPD reconoce a una persona «el derecho a no ser objeto de una decisión basada únicamente en el tratamiento automatizado, incluida la elaboración de perfiles, que produzca efectos jurídicos en ella o le afecte significativamente de modo similar». Hay excepciones para los contratos, el consentimiento explícito y las decisiones autorizadas por el Derecho de la Unión o de los Estados miembros que establezcan garantías adecuadas. Cuando se aplican las excepciones relativas al contrato o al consentimiento, el artículo 22(3) exige «como mínimo, el derecho a obtener intervención humana por parte del responsable del tratamiento, a expresar su punto de vista y a impugnar la decisión». El artículo 15(1)(h) reconoce el derecho de acceso a «información significativa sobre la lógica aplicada» en dichas decisiones.
SCHUFA (C‑634/21), 7 de diciembre de 2023
La agencia de crédito alemana SCHUFA elaboraba puntuaciones que utilizaban los bancos. El Tribunal sostuvo que la puntuación «debe considerarse una “decisión individual automatizada” prohibida, en principio, por el RGPD, en la medida en que los clientes de SCHUFA, como los bancos, le atribuyan un papel determinante en la concesión de crédito». La importancia es estructural: el derecho se aplica al organismo que produce la puntuación decisiva, no solo al organismo que adopta formalmente la decisión. En el sector público, esto sugiere que una puntuación de riesgo que en la práctica determine si una solicitud se investiga o se rechaza puede quedar comprendida en el artículo 22, aunque un funcionario firme la resolución.
Dun & Bradstreet Austria (C‑203/22), 27 de febrero de 2025
Un operador de telefonía móvil denegó un contrato a un cliente —con un pago mensual de €10— debido a una evaluación crediticia automatizada de Dun & Bradstreet. Un tribunal austríaco ya había concluido que la empresa no había proporcionado «información significativa sobre la lógica aplicada». Al resolver una cuestión prejudicial sobre la aplicación de la norma, el Tribunal sostuvo:
- el responsable del tratamiento debe «describir el procedimiento y los principios efectivamente aplicados de tal modo que el interesado pueda entender qué datos personales suyos se han utilizado y cómo se han utilizado»;
- «en particular, podría ser adecuado informar al interesado sobre en qué medida una variación de los datos personales tenidos en cuenta habría dado lugar a un resultado diferente»: una explicación de tipo contrafáctico;
- «la mera comunicación de un algoritmo no constituye una explicación suficientemente concisa e inteligible»;
- si el responsable del tratamiento afirma que la información contiene datos de terceros o secretos comerciales, debe facilitar esa información a la autoridad de control competente o al tribunal, que ponderará los intereses; queda excluida una norma nacional que deniegue el acceso de forma general siempre que haya secretos comerciales de por medio.
El titular del propio Tribunal fue que «la explicación proporcionada debe permitir al interesado entender e impugnar la decisión automatizada». Así, la explicación queda definida por su función en la impugnación.
Hallazgo 2: la Ley de IA de la UE
Artículo 86: un derecho a la explicación para las decisiones de alto riesgo
El artículo 86(1) de la Ley de IA otorga a «toda persona afectada sujeta a una decisión adoptada por el responsable del despliegue sobre la base del resultado de un sistema de IA de alto riesgo enumerado en el anexo III», excepto los sistemas contemplados en el punto 2 de dicho anexo (infraestructura crítica), y que produzca efectos jurídicos o le afecte de manera similar y significativa de un modo que considere perjudicial para su salud, seguridad o derechos fundamentales, el derecho a obtener «explicaciones claras y significativas sobre el papel del sistema de IA en el procedimiento de toma de decisiones y los principales elementos de la decisión adoptada». El artículo 86(3) establece que el artículo se aplica «únicamente en la medida en que el derecho mencionado en el apartado 1 no esté previsto de otro modo en el Derecho de la Unión»; por tanto, cuando el RGPD ya contemple una explicación, rige el RGPD.
Calendario tras el Ómnibus Digital sobre IA
La fecha general de aplicación de la Ley de IA es el 2 de agosto de 2026. Sin embargo, el Reglamento (UE) 2026/1744 (el Ómnibus Digital sobre IA) modificó el artículo 113 para que el capítulo III, secciones 1–3 —las obligaciones fundamentales para los sistemas de alto riesgo— se aplique a partir del 2 de diciembre de 2027 en el caso de los sistemas del anexo III y del 2 de agosto de 2028 en el de los sistemas del anexo I. Dado que el artículo 86 se define por referencia a los sistemas de IA de alto riesgo del anexo III, su efecto práctico antes de que se aplique el régimen de alto riesgo es incierto; cómo abordarán las autoridades y los tribunales el período transitorio sigue siendo una cuestión abierta.
Otras vías previstas en la Ley de IA
La Ley también permite a cualquier persona presentar una reclamación ante una autoridad de vigilancia del mercado, exige a los responsables del despliegue de sistemas de alto riesgo que los utilicen bajo supervisión humana y exige a los responsables del despliegue sujetos al Derecho público de determinados sistemas del anexo III que realicen una evaluación de impacto sobre los derechos fundamentales. Se trata, en su mayoría, de obligaciones ex ante; el artículo 86 es el principal recurso individual.
Hallazgo 3: el Convenio Marco del Consejo de Europa
El Convenio Marco sobre Inteligencia Artificial y Derechos Humanos, Democracia y Estado de Derecho (CETS n.º 225) se abrió a la firma el 5 de septiembre de 2024 en Vilna. El capítulo IV trata de los recursos. El artículo 14 exige a cada parte, «en la medida en que los recursos sean exigidos por sus obligaciones internacionales y sean compatibles con su ordenamiento jurídico interno», garantizar «recursos accesibles y efectivos» frente a las violaciones de los derechos humanos derivadas de los sistemas de IA, incluidas medidas para documentar información pertinente sobre los sistemas que puedan afectar significativamente a los derechos humanos y, cuando proceda, ponerla a disposición de las personas afectadas; garantizar que esta información sea «suficiente para que las personas afectadas puedan impugnar la(s) decisión(es)» adoptada(s) o sustancialmente informada(s) por el sistema; y «una posibilidad efectiva para que las personas interesadas presenten una reclamación ante las autoridades competentes». El artículo 15 exige garantías procesales efectivas cuando un sistema de IA «repercuta significativamente en el disfrute de los derechos humanos» e insta a las partes a «procurar garantizar» que se notifique a las personas que están interactuando con un sistema de IA. Las obligaciones están formuladas en términos generales, lo que deja discrecionalidad a las partes en cuanto a su aplicación, y solo vinculan a las partes: conforme al artículo 30(3), el Convenio entra en vigor tres meses después de que lo hayan ratificado cinco signatarios, incluidos al menos tres Estados miembros del Consejo de Europa.
Hallazgo 4: el Reino Unido después de 2025
La Ley de Datos (Uso y Acceso) de 2025, que recibió la sanción real el 19 de junio de 2025, sustituyó el artículo 22 del RGPD del Reino Unido por los nuevos artículos 22A–22D. El cambio de enfoque es significativo:
- una decisión está «basada únicamente en el tratamiento automatizado si no existe una intervención humana significativa en la toma de la decisión», y es «significativa» si produce un efecto jurídico o un efecto de importancia similar;
- las decisiones significativas tomadas únicamente mediante procesos automatizados están restringidas principalmente cuando se basan en datos de categorías especiales —solo se permiten con consentimiento explícito, o cuando la decisión es necesaria para un contrato o está exigida o autorizada por ley y se aplica la condición de interés público sustancial del artículo 9(2)(g)— o en la nueva base de «intereses legítimos reconocidos», en lugar de estar prohibidas en principio;
- cuando se toman tales decisiones, los responsables del tratamiento deben establecer salvaguardias que «proporcionen al interesado información sobre las decisiones», «le permitan formular observaciones», «le permitan obtener intervención humana» y «le permitan impugnar tales decisiones»;
- el Secretario de Estado puede definir mediante reglamentos qué se considera una intervención humana significativa y qué constituye un efecto de importancia similar.
El Reino Unido ha pasado así de un modelo de prohibición con excepciones a uno de autorización con salvaguardias, manteniendo las cuatro salvaguardias fundamentales.
Hallazgo 5: Estados Unidos
No existe un derecho federal general a recibir explicaciones o a apelar decisiones automatizadas; en cambio, existe un mosaico de normas:
- Agencias federales. El Memorando M‑25‑21 de la OMB (3 de abril de 2025), que revocó y sustituyó al M‑24‑10, exige que las agencias apliquen prácticas mínimas de gestión de riesgos a la «IA de alto impacto» en un plazo de 365 días, incluida la obligación de «garantizar que las personas afectadas por decisiones habilitadas por IA tengan acceso a una revisión humana oportuna y la oportunidad de apelar cualquier impacto negativo, cuando corresponda». Los directores de IA de las agencias pueden eximir del cumplimiento de las prácticas mínimas; las exenciones se registran, se notifican y se resumen públicamente.
- Colorado. La SB24‑205, aprobada el 17 de mayo de 2024, exige a quienes implementan sistemas de IA de alto riesgo que toman o influyen sustancialmente en decisiones trascendentales que notifiquen a los consumidores, les den la oportunidad de corregir datos personales incorrectos y les ofrezcan «la oportunidad de apelar una decisión trascendental adversa mediante una revisión humana, si es técnicamente viable». La SB25B‑004, promulgada el 28 de agosto de 2025, prorrogó hasta el 30 de junio de 2026 la fecha de entrada en vigor de estos requisitos. En mayo de 2026, la legislatura cambió de rumbo: la SB26‑189, promulgada el 14 de mayo de 2026, deroga y vuelve a promulgar las disposiciones de 2024 como una ley sobre la «tecnología de toma de decisiones automatizada» utilizada para influir materialmente en decisiones trascendentales, con obligaciones que comienzan el 1 de enero de 2027. Quienes implementan estos sistemas deben notificarlo en el momento de la interacción y, dentro de los 30 días posteriores a un resultado adverso, proporcionar una descripción en lenguaje sencillo del papel de la tecnología; los consumidores pueden solicitar sus datos, la corrección de datos objetivamente incorrectos y una «revisión humana significativa y una reconsideración»; la aplicación de la ley corresponde al fiscal general, sin que se cree un nuevo derecho de acción privada.
- California. Los reglamentos de la Agencia de Protección de la Privacidad de California, aprobados el 22 de septiembre de 2025 y vigentes desde el 1 de enero de 2026, con fechas de cumplimiento escalonadas, ponen en práctica los derechos de los consumidores a acceder a información sobre el uso de tecnología de toma de decisiones automatizada por parte de las empresas y a excluirse de dicho uso.
- Ciudad de Nueva York. La Ley Local 144 de 2021 prohíbe a los empleadores utilizar herramientas automatizadas de decisión laboral, salvo que se haya realizado una auditoría de sesgo durante el último año, los resultados de la auditoría sean públicos y se notifique a los candidatos: un modelo de auditoría y notificación sin derecho individual de apelación.
Comparación
| Régimen | Ámbito | Explicación | Revisión humana | Apelación o reclamación | Estado (octubre de 2026) |
|---|---|---|---|---|---|
| RGPD, arts. 22 / 15(1)(h) | Decisiones exclusivamente automatizadas con efectos jurídicos o similares (incluidas las puntuaciones decisivas posteriores a SCHUFA) | «Información significativa sobre la lógica», según D&B: procedimiento y principios efectivamente aplicados | Sí, para las excepciones relativas al contrato o al consentimiento | Autoridad de control y tribunales | En vigor |
| Ley de IA de la UE, art. 86 | Decisiones basadas en sistemas de alto riesgo del anexo III | Función del sistema de IA y elementos principales de la decisión | Mediante las obligaciones de supervisión del responsable del despliegue | Reclamación ante la autoridad de vigilancia del mercado | Aplicable desde agosto de 2026; obligaciones para sistemas de alto riesgo desde diciembre de 2027 |
| Convenio del Consejo de Europa CETS 225 | Sistemas de IA que afectan a los derechos humanos | Información suficiente para impugnar | Salvaguardias procesales | Reclamación ante las autoridades competentes | Vinculante para las partes que lo ratifiquen |
| RGPD del Reino Unido, arts. 22A–22D | Decisiones significativas sin intervención humana significativa | Información sobre las decisiones | Sí | Impugnación; regulador y tribunales | Promulgado en 2025 |
| OMB de EE. UU., M‑25‑21 | «IA de alto impacto» federal | No abordado en este estudio | Revisión humana oportuna | Oportunidad de apelar, «cuando corresponda» | En vigor; puede eximirse |
| Colorado SB24‑205 / SB26‑189 | Decisiones de consecuencias importantes en las que influye de manera sustancial la tecnología de toma de decisiones automatizada | Notificación; descripción en lenguaje claro tras un resultado desfavorable; rectificación de datos | Revisión humana significativa y reconsideración previa solicitud | Aplicación por parte del fiscal general; no existe derecho de acción privada | Derogada y promulgada de nuevo en mayo de 2026; obligaciones desde el 1 de enero de 2027 |
| Francia (CRPA, según lo descrito por la OCDE) | Decisiones administrativas impulsadas por algoritmos | Divulgación y explicación a la persona interesada | Derecho administrativo ordinario | Recursos administrativos ordinarios | En vigor |
Hallazgo 6: qué funciona en la práctica
Las vías sistémicas superan a las individuales
En los casos mejor documentados, las intervenciones decisivas fueron colectivas o institucionales:
- Litigio estratégico. En el caso SyRI, una coalición de organizaciones de la sociedad civil obtuvo una sentencia que determinó que la legislación infringía el artículo 8 del CEDH. El tribunal razonó que, sin conocer el modelo de riesgo, era «difícil comprender cómo un interesado podría defenderse», tratando la transparencia como condición previa para la impugnación individual.
- Acciones colectivas. La acción colectiva de Robodebt dio lugar a acuerdos por un valor de al menos 1.800 millones de dólares (2021) y 548,5 millones de dólares (aprobado en 2026).
- Reguladores. La autoridad neerlandesa de protección de datos concluyó que los indicadores de riesgo basados en la nacionalidad eran ilegales e impuso una multa a la administración tributaria.
- Investigaciones. La investigación parlamentaria neerlandesa y la Comisión Real de Australia exigieron rendición de cuentas política.
Las apelaciones individuales fueron importantes principalmente como señales. En Michigan, los abogados observaron un aumento de las apelaciones por fraude que prosperaban antes de descubrir que MiDAS emitía dictámenes sin revisión humana. En Serbia, Amnistía documentó el caso de una mujer que consiguió la restitución de su puesto en su segunda apelación, con asistencia jurídica gratuita, tras pasar meses sin ingresos.
La revisión humana falla sin información, tiempo y autoridad
A los revisores neerlandeses de las prestaciones por cuidado infantil no se les informó por qué una solicitud había recibido una puntuación de alto riesgo. Los trabajadores sociales serbios les decían a los solicitantes que «el nuevo sistema de Belgrado» había decidido. Un estudio experimental de los Países Bajos (Alon-Barkat y Busuioc, 2023) no encontró un sesgo de automatización general, pero sí una tendencia a seguir los consejos que coincidían con estereotipos grupales, ausente entre los funcionarios públicos evaluados poco después del escándalo de las prestaciones por cuidado infantil. Ben Green (2022) sostiene que los requisitos de supervisión humana pueden generar una falsa sensación de seguridad y legitimar sistemas defectuosos, y propone que, en cambio, las agencias justifiquen el uso de algoritmos y los sometan a supervisión institucional.
Las explicaciones funcionan cuando permiten actuar
El estándar del TJUE en Dun & Bradstreet —qué datos se usaron, cómo y qué cambio habría alterado el resultado— es el tipo de explicación que permite a una persona corregir datos (como en los casos serbios de ingresos consignados erróneamente o automóviles desguazados) o impugnar un método (como el cálculo de promedios de Robodebt). Las descripciones genéricas de «el algoritmo» no lo permiten.
Lo que no demuestra la evidencia
- Aún hay poca evidencia sobre los efectos de los nuevos regímenes. El artículo 86, los artículos 22A–22D del Reino Unido y el derecho a revisión humana de Colorado son demasiado recientes para que haya datos sobre sus resultados.
- No demuestra que los derechos individuales sean inútiles. Son insumos necesarios para obtener remedios sistémicos; las coaliciones litigantes y los reguladores suelen apoyarse en reclamaciones individuales.
- No demuestra que siempre sea posible ofrecer explicaciones. En algunos modelos complejos, la posibilidad de ofrecer explicaciones fieles de resultados individuales sigue siendo objeto de controversia técnica; el estándar del TJUE elude esta cuestión al centrarse en los datos y principios efectivamente aplicados.
- No establece con qué frecuencia los revisores anulan los sistemas. Pocos organismos públicos publican las tasas de anulación o las tasas de éxito de las apelaciones relativas a decisiones automatizadas.
Implicaciones para el diseño institucional
La evidencia respalda más un diseño por capas que un derecho único:
- Notificación de que se utilizó un sistema automatizado, en el momento de la decisión.
- Motivos que permitan actuar: los datos utilizados, cómo se utilizaron y qué cambiaría el resultado —el estándar de Dun & Bradstreet—, y que una autoridad independiente, no el responsable del tratamiento, resuelva las controversias sobre secretos comerciales.
- Revisión humana efectiva: revisores con acceso a los motivos del sistema, tiempo para investigar y facultades explícitas para anular la decisión; publicación de las tasas de anulación.
- Apelación independiente que suspenda la recuperación de pagos o las sanciones mientras esté pendiente, con asistencia jurídica gratuita para los solicitantes de bajos ingresos.
- Mecanismos de activación sistémica: estadísticas agregadas sobre apelaciones comunicadas a un regulador o defensor del pueblo, facultad para suspender un sistema y acceso a mecanismos de reparación colectiva.
- Registros y aprobación jurídica previa al despliegue, para que la legalidad de un método se compruebe antes de aplicarlo a miles de personas.
Preguntas abiertas
- ¿Cómo aplicarán los tribunales nacionales el criterio de la «función determinante» de SCHUFA a las puntuaciones de riesgo del sector público que formalmente solo seleccionan casos para revisión?
- ¿Desarrollarán las autoridades de supervisión procedimientos prácticos para equilibrar los secretos comerciales con los derechos de acceso, como exige Dun & Bradstreet?
- ¿Cómo se aplicará el artículo 86 antes de diciembre de 2027 y aclararán las directrices de la Comisión su relación con el RGPD?
- ¿Aumentará el giro del Reino Unido hacia un modelo de autorización con salvaguardias las decisiones exclusivamente automatizadas, y se definirá de forma estricta la «participación humana significativa»?
- ¿Se utilizarán de forma excepcional o rutinaria las exenciones federales de EE. UU. a las prácticas mínimas, y convergerán los estados en el modelo de revisión humana de Colorado?
Fuentes
- Parlamento Europeo y Consejo (2016). Regulation (EU) 2016/679 (General Data Protection Regulation), artículos 15 y 22.
- Tribunal de Justicia de la Unión Europea (2023). Press release No 186/23: SCHUFA Holding (Scoring), C‑634/21, 7 de diciembre de 2023.
- Tribunal de Justicia de la Unión Europea (2025). Press release No 22/25: Dun & Bradstreet Austria, C‑203/22, 27 de febrero de 2025.
- Parlamento Europeo y Consejo (2024). Regulation (EU) 2024/1689 (Artificial Intelligence Act), artículo 86.
- Parlamento Europeo y Consejo (2026). Regulation (EU) 2026/1744 (Digital Omnibus on AI).
- Consejo de Europa (2024). Framework Convention on Artificial Intelligence and Human Rights, Democracy and the Rule of Law (CETS No. 225).
- Parlamento del Reino Unido (2025). Data (Use and Access) Act 2025, section 80.
- Office of Management and Budget (2025). Memorandum M‑25‑21: Accelerating Federal Use of AI through Innovation, Governance, and Public Trust.
- Asamblea General de Colorado (2024). SB24‑205, Consumer Protections for Artificial Intelligence.
- Asamblea General de Colorado (2025). SB25B‑004, Increase Transparency for Algorithmic Systems.
- California Privacy Protection Agency (2025). CCPA Updates, Cybersecurity Audits, Risk Assessments, ADMT and Insurance Regulations.
- Departamento de Protección al Consumidor y al Trabajador de la Ciudad de Nueva York. Automated Employment Decision Tools (Local Law 144 of 2021).
- OECD (2026). Digital Government Outlook 2026, recuadro 4.7.
- Wachter, S., Mittelstadt, B. y Floridi, L. (2017). Why a Right to Explanation of Automated Decision-Making Does Not Exist in the General Data Protection Regulation. International Data Privacy Law 7(2): 76–99.
- Edwards, L. y Veale, M. (2017). Slave to the Algorithm? Why a 'Right to an Explanation' Is Probably Not the Remedy You Are Looking For. Duke Law & Technology Review 16(1): 18–84.
- Wachter, S., Mittelstadt, B. y Russell, C. (2018). Counterfactual Explanations without Opening the Black Box: Automated Decisions and the GDPR. Harvard Journal of Law & Technology 31(2).
- Rechtbank Den Haag (2020). SyRI judgment, ECLI:NL:RBDHA:2020:1878.
- Alon-Barkat, S. y Busuioc, M. (2023). Human–AI Interactions in Public Sector Decision Making. JPART 33(1): 153–169.
- Green, B. (2022). The flaws of policies requiring human oversight of government algorithms. Computer Law & Security Review 45.
- Amnesty International (2023). Trapped by automation, EUR 70/7443/2023.
- Charette, R. N. (2018). Michigan's MiDAS Unemployment System. IEEE Spectrum.
- Asamblea General de Colorado (2026). SB26‑189, Automated Decision-Making Technology.
- Consejo de Europa (2024). Framework Convention on Artificial Intelligence and Human Rights, Democracy and the Rule of Law — authentic English text, según se publicó en la base de datos de tratados del Gobierno neerlandés.
Fuente original: Court of Justice of the European Union