|
Noam Sohlberg Vicepresidente
|
Juez Ofer Grosskopf:
Estoy de acuerdo.
|
Ofer Grosskopf Juez
|
Jueza Gila Kanfi-Steinitz:
Coincido con el juicio de mi colega, el vicepresidente v. Solberg. Mi colega describió los fallos que se produjeron en la conducta del municipio, y su juicio sienta una señal de alerta sobre la forma en que las autoridades administrativas utilizan los sistemas de inteligencia artificial. De hecho, pueden surgir muchos beneficios del uso de herramientas de inteligencia artificial por parte de las autoridades administrativas, tanto para mejorar el servicio al ciudadano como para ahorrar recursos públicos. Sin embargo, junto a estos beneficios, mi colega enfatizó acertadamente el peligro inherente en este momento a la dependencia ciega de esta tecnología.
A la luz del rápido ritmo de desarrollo de herramientas de inteligencia artificial y los cambios que se espera que traigan en el servicio público, quería hacer algunos comentarios sobre los retos que plantea la toma de decisiones utilizando herramientas de inteligencia artificial, desde la perspectiva del derecho administrativo.
- En primer lugar, parece que existe una gran brecha entre la presentación de sentencias judiciales que se basan en referencias inexistentes, resultado de la "alucinación" de la inteligencia artificial, y la adopción de una decisión administrativa basada en estas herramientas. Mi colega, el vicepresidente Sohlberg, culpó al fracaso administrativo a la arbitrariedad, pero parece que en algunos casos el problema puede llegar a la raíz de la propia autoridad. Al fin y al cabo, más de una vez coincidimos en que es una regla básica que una autoridad no tiene derecho a disolverse a su discreción ni a delegar autoridad sin autorización explícita (Tribunal Superior de Justicia 2303/90 Filipovich contra Registrar de Sociedades, IsrSC 46(1) 410, 420 (1992) (en adelante: el caso Filipovich); Baruch Bracha, Derecho Administrativo, 2, 154 (1996)). Desde esta perspectiva, hay quienes señalan que la integración de sistemas de inteligencia artificial en el proceso de toma de decisiones desafía esta prohibición, ya que en la práctica las decisiones individuales, e incluso las relacionadas con la formulación de políticas generales, se "delegan" al algoritmo y implícitamente a los proveedores privados que lo desarrollan (Deirdre K. Mulligan y Kenneth A. Bamberger, Compras como política: Proceso administrativo para aprendizaje automático, 34 Berkeley Tech. L.J. 773 (2019) (en adelante: Mulligan & Bamberger);Danielle Keats Citron, Debido Proceso Tecnológico, 85 Wash. U. L. Rev. 1249, 1296-97 (2008) (Citron).
- De hecho, es posible que el uso de herramientas de inteligencia artificial se realice con la ayuda de ellas y nada más – asistencia que también debe ser cuidadosa y controlada – sin que la autoridad administrativa se desmantele de su juicio profesional (y comparar: Tribunal Superior de Justicia 38379-12-24 Anonymous contra el Tribunal de Apelaciones de la Sharia, Jerusalén, párrafo 26 [Nevo] (23 de febrero de 2025) (en adelante: el caso Anonymous)). Sin embargo, la situación cambia y la toma de decisiones se transfiere a la herramienta de IA. En esta situación, ya no es posible considerar el uso del sistema como una mera 'asistencia técnica', una especie de uso de una calculadora, una base de datos o una herramienta de redacción (para más información sobre la distinción entre delegación y asistencia y consulta, véase: Filipovich, pp. 422-424; Dafna Barak-Erez, Administrative Law, 1, 178-180 (2010)), sino más bien como desplazar el centro de gravedad del ejercicio del juicio del ser humano a las herramientas de la inteligencia artificial. Transferir la decisión a una inteligencia artificial que ejerza una especie de "discreción" propia puede, en algunos casos, suponer una disolución indebida de discreción o una delegación prohibida.
Así, por ejemplo, ocurrió el caso que tenemos ante nosotros, en el que la ISA basó su decisión en una Circular del Director General inexistente, resultado de la "alucinación" de la inteligencia artificial, refiriéndose a sus diversas secciones y apoyándose en detalladas "citas" de esa circular inventada. No puede haber disputa en que, si la decisión hubiera sido tomada por una entidad humana, el resultado del procedimiento administrativo habría sido completamente diferente. Además, si la decisión se hubiera entregado al apelante sin los detalles que se basaban en ella, es posible que no hubiera podido comprender el fallo desde su fondo.
- Para evitar una disolución inadecuada de la autoridad y discreción de la autoridad administrativa, mi colega determina, con razón, que los órganos administrativos deben ejercer control humano sobre el producto del sistema y examinarlo antes de tomar una decisión. El espíritu de este enfoque, conocido como el "humano en el bucle", también se utiliza en sistemas jurídicos paralelos (véase, por ejemplo, el artículo 22 del Reglamento General de Protección de Datos de la Unión Europea; para más información sobre los enfoques regulatorios adoptados en derecho comparado, véase Ben Green, The Flaws of Policies Required Human Oversight of Government Algorithms, 45 L. & Sec. Rev. 1, 4-7 (2022) (en adelante: Verde); Aziz Z. Huq, Un derecho a una decisión humana, 106 Va. L. Rev. 611, 620-27 (2020)).
De hecho, la supervisión humana puede, entre otras cosas, aumentar la rendición de cuentas y, en algunos casos, mejorar la calidad y precisión de los productos del sistema (el Ministerio de Innovación, Ciencia y Tecnología y el Ministerio de Justicia). Políticas, Principios Regulatorios y Éticos en el Campo de la Inteligencia Artificial 55-56 (2023) (en adelante: Documento de Política y Regulación de Inteligencia Artificial)). Sin embargo, la literatura investigadora actual muestra que el requisito de supervisión humana, en sí mismo, está lejos de proporcionar una protección adecuada contra fallos o errores de la IA; y advierte contra añadir un factor humano a la cadena de toma de decisiones, sin tener en cuenta la complejidad de la interfaz entre los humanos y las herramientas de inteligencia artificial (véase el artículo al que se refirió mi colega: Rebecca Crootof, Margot E. Kaminski & W. Nicholson Price II, Humanos en el Bucle, 76 Agua. L. Rev. 429 (2023). Véase también: Lemon, en pp. 1271-1277; Verde, en las páginas 7-11). Por ejemplo, esta interfaz suele sufrir sesgos cognitivos que desafían la eficacia de la supervisión. Algunos supervisores humanos tienden a depender demasiado de los resultados del sistema en lugar de ejercer un juicio independiente (un fenómeno conocido como "sesgo de automatización").Sesgo de automatización)). Por otro lado, los estudios indican una tendencia irracional a posponer una decisión tomada por un sistema de inteligencia artificial, incluso en ausencia de justificación para ello (un fenómeno conocido como aversión algorítmica).Aversión al algoritmo); Para más información sobre estos sesgos, véase: Marina Chugunova y Daniela Sele, Nosotros y Ello: Una revisión interdisciplinar de la evidencia experimental sobre cómo los humanos interactúan con las máquinas, 99 J. Compórtate. & Exp. Economía. 1, 8-9 (2022); Documento de Política y Regulación de Inteligencia Artificial, p. 57-58). También debe señalarse que la implicación humana, que se realiza sin los medios y conocimientos necesarios, a menudo carece de una capacidad real para identificar y corregir los errores o sesgos de la inteligencia artificial. En otros casos, incluso puede restar calidad al producto obtenido por la inteligencia artificial y compensar sus ventajas (Documento de Política y Regulación de Inteligencia Artificial, p. 57-56; Verde, en la página 8; Amit Haim, El Estado Administrativo y la Inteligencia Artificial: Hacia una Ley Interna de los Algoritmos Administrativos, 14 UC Irvine L. Rev. 103, 142 (2024)).
- A la luz de estas ideas, que se presentan en pocas palabras, hay que tener cuidado de no interpretar el modelo del "hombre en bucle" como una mera cualificación para la supervisión humana formal. Está claro que solo se debe satisfacer la supervisión y el examen pasivo de los productos del sistema, y se debe exigir una implicación más significativa por parte de la Autoridad, más allá de la obligación que insistió mi colega. Esta obligación incrementada no se compone de una sola parte, y puede asumir y simplificar según la naturaleza de la decisión administrativa y las características del sistema utilizado. Sin agotamiento, esta implicación puede expresar, entre otras cosas, un uso informado que incluya suficiente familiaridad con las ventajas, deficiencias y limitaciones del sistema; Y, más importante aún, la competencia y autoridad para rechazar sus recomendaciones en los casos apropiados (y comparar: Estado contra Loomis, 881 N.W.2d 749, 768-70 (Wis. 2016); Green, en las páginas 6-7). Puede imponer el deber de monitorizar continuamente los productos resultantes, mientras los examina críticamente, entre otras cosas, en la forma en que se comparan con decisiones humanas similares. En particular, en lo que respecta a cuestiones que tienen un impacto real en el individuo, como en nuestro caso. Es posible que esta implicación comience en las etapas de diseño del sistema y el proceso de aprendizaje, adaptando sus características a las normas del derecho administrativo (véase: Mulligan & Bamberger, en la p. 773). Finalmente, es apropiado que, antes de la implementación de los sistemas, las autoridades estatales realicen un procedimiento preliminar en el que examinen si la decisión requerida es realmente apropiada para el uso de un modelo de inteligencia artificial; y si el modelo específico es suficientemente fiable y adecuado en sus características para ayudar en la toma de esa decisión (y para las consideraciones necesarias al respecto, véase: Citron, pp. 1303-1304; Green, en pp. 11-15). Por supuesto, estas conclusiones deben reiterarse de vez en cuando a la luz de los cambios tecnológicos y las herramientas disponibles para su uso.
- Estos comentarios están lejos de agotar la gama de desafíos y consideraciones fundamentales que la administración pública debería tener en cuenta al utilizar herramientas de inteligencia artificial. Estas palabras son un llamado a las preguntas que seguramente ocuparán a las autoridades administrativas en el futuro, y a las normas que serían buenas si estuvieran diseñadas "con el talón en el lateral del pulgar". No hace falta decir que la interfaz laboral adecuada entre humanos e inteligencia artificial depende de las circunstancias. Debe diseñarse con toda la atención, el cuidado y teniendo en cuenta los frecuentes cambios tecnológicos que caracterizan esta tecnología. Tampoco es imposible que, dado el acelerado ritmo de desarrollo tecnológico, los medios mencionados arriba lleguen a quedar obsoletos algún día, y las importantes obligaciones impuestas a la Autoridad se cumplan de formas alternativas que aún no conocemos. Como tuve la oportunidad de señalar en otro caso – "Debemos tener en cuenta la posibilidad de que las preocupaciones que debemos abordar hoy reciban con el tiempo una respuesta tecnológica satisfactoria; y que las normas son adecuadas para este momento, darán paso a normas más actuales y apropiadas" (El caso Anónimo, en el párrafo 26).
Por ahora, sin embargo, la adopción de herramientas de IA requiere "Hacer un uso responsable, cuidadoso y crítico de esta tecnología, comprender en profundidad sus capacidades y limitaciones, y ser actualizado de vez en cuando sobre sus debilidades y fortalezas" (עניין Anónimoen el párrafo 26). Estas palabras, que se dijeron en relación con los deberes de los abogados, son aún más apropiadas cuando tratamos con las autoridades estatales.