Uso incontrolado de la inteligencia artificial en la relación entre el ciudadano y la autoridad administrativa
- Una de las principales razones que sustenta el aumento del deber de equidad impuesto a las autoridades administrativas son las dramáticas disparidades de poder que existen entre la autoridad y el ciudadano:
"El individuo y el gobierno no son iguales derechos, no son iguales al poder, y no son iguales en estatus. [...] El gobierno tiene en sus manos mucho poder, mucho poder y mucha riqueza, hasta que el individuo —por muy grande que sea su poder, poder y riqueza— no podrá compararse ni parecerse a él. [...] El deber de justicia que el gobierno debe a los individuos de la sociedad deriva del poder excesivo que posee el gobierno, del poder del gobierno, porque es grande. El deber de equidad pretende servir —junto con otros medios— como freno al poder y como restricción al poder" (HCJ 164/97 Contram en Tax Appeal v. Ministerio de Finanzas, División de Aduanas y IVA, IsrSC 52(1) 289, 367-368 (1998); véase también ibid., pp. 317-318; véase también: Yitzhak Zamir, The Administrative Authority, vol. 3, 1634 (2014); Dafna Barak-Erez, Derecho Administrativo, Vol. 1, 276 (2010)).
- Esta justificación implica que el uso descontrolado de la inteligencia artificial, como en este caso, es aún más grave cuando se produce en la relación directa entre la autoridad y el ciudadano. Así, cuando tal uso se realiza en el marco de un procedimiento legal, hay dos partes que median, al menos en cierta medida, las disparidades de poder entre las partes: el abogado del ciudadano y el tribunal. En el contexto actual, la importancia de esto es que, incluso si dicho uso de inteligencia artificial supone un grave incumplimiento de un deber procesal impuesto a las partes, como se detalla arriba, la probabilidad de que esto tenga un impacto real en el resultado del procedimiento no es relativamente alta. Esto se debe a que se puede asumir, en la primera fase, que el abogado prestará atención al asunto del engaño —es decir, aquellas referencias y afirmaciones que no se originan en la ley, sino en las 'alucinaciones' de la inteligencia artificial— y llevará el asunto a conocimiento del tribunal; Y es ciertamente razonable que en la segunda fase, incluso si el abogado 'pasa por alto' esos fallos, el tribunal preste atención a ellos y falle conforme a la ley, sin que ese engaño afecte su decisión.
- En cambio, en la relación directa entre la autoridad y el ciudadano, estas suposiciones sobre las barreras que pueden limitar el impacto práctico del uso incontrolado de la inteligencia artificial no existen. Cuando un ciudadano recibe una decisión de una autoridad administrativa que parece razonada y basada en razones legales y referencias, en la mayoría de los casos no puede reflexionar sobre ella, y desde luego no descubrir por sí mismo que esas razones no son más que producto de la imaginación de un sistema de inteligencia artificial. Por tanto, a diferencia del caso del uso incontrolado de inteligencia artificial en el marco de un procedimiento legal, en la interacción directa entre la autoridad y el ciudadano, dicho uso puede tener ciertamente un impacto real en la situación del ciudadano. De hecho, a la luz de lo anterior, es razonable suponer que en la mayoría de los casos la decisión de la Autoridad permanecerá vigente y el ciudadano la aceptará, incluso sin saber que ha sido perjudicado. La probabilidad de esto es inversamente proporcional al nivel de conciencia, capacidad y recursos del ciudadano para atacar la decisión de la autoridad, de modo que son los ciudadanos con menos conciencia y recursos los que se espera que sufran más daño.
- Esto significa que el uso incontrolado de la inteligencia artificial por parte de la autoridad en sus relaciones directas con el ciudadano es de un grado excesivo y especial de severidad. Esto se suma al hecho de que conductas como esta también implican un incumplimiento de deberes adicionales impuestos a las autoridades administrativas. Así, por ejemplo, una decisión basada principalmente en 'alucinaciones' de inteligencia artificial es una decisión muy difícil de ver como una decisión que cumple con el deber de razonamiento (para la dificultad general de explicar y razonar respecto a decisiones que son producto de un sistema de inteligencia artificial, véase, por ejemplo: Hofit Wasserman-Rosen, "To It and Its Thorn: The Right to Informationality of Artificial Intelligence Systems", Mishpat, Society and Culture, 8, 215 (2025)).
- Además, y además de lo anterior, hay motivos para creer que tal decisión es, por regla general, arbitraria. Como bien expresó el juez Shamgar, la arbitrariedad es "un acto realizado por una autoridad, sin tener en cuenta los hechos y razones ante ella, confiando únicamente en su poder gubernamental. No es el fraude lo que domina el acto de arbitrariedad, sino la falta de consideración y falta de atención" (Tribunal Superior de Justicia 376/81 Lugasi contra el Ministro de Comunicaciones, IsrSC 36(2) 449, 460 (1981); véase también: Apelación de Petición/Reclamación Administrativa 1930/22 Puertas Abiertas de Jerusalén para el Orgullo y la Tolerancia contra el Municipio de Jerusalén, párrafo 39 de la sentencia de mi colega, el juez Grosskopf [Nevo] (11 de octubre de 2023); Para una definición similar de arbitrariedad, que se refiere a la conducta de las autoridades de aplicación en el ámbito del derecho penal, véase: Criminal Appeals Authority 1611/16 Estado de Israel contra Vardi, párrafo 71 y las referencias allí [Nevo] (31 de octubre de 2018)). Está claro que en la actualidad, una decisión que se basa 'ciegamente' en un sistema de inteligencia artificial entra dentro del ámbito de un conjunto de decisiones que se toman sin atención ni consideración de las consideraciones y datos relevantes, y de hecho, es una decisión que incluso puede decirse que, en esencia, no se ejerció ninguna discreción al respecto; Por lo tanto, cae fácilmente bajo la protección de la causa de la arbitrariedad. Esto se refuerza aún más en vista de la estrecha relación entre la arbitrariedad y la falta de razonamiento (para esto, véase, por ejemplo: Tribunal Superior de Justicia 6728/06 Ometz (Ciudadanos por una Buena Administración y Justicia Social) contra el Primer Ministro de Israel, párrafos 14-18 de la opinión del juez Naor [Nevo] (30 de noviembre de 2006); Tribunal Superior de Justicia 143/56 Ahjij contra Supervisor de Tráfico, IsrSC 11 370, 372 (1957)).
Opino que se pueden extraer conclusiones prácticas de lo anterior en dos niveles.
- Primero, el aspecto de los deberes positivos que se aplican a las autoridades administrativas en lo que respecta al uso de la inteligencia artificial. Obviamente, este no es el lugar para una discusión exhaustiva —ni siquiera cercana— sobre este tema. No olvidemos que estamos tratando un recurso relacionado con gastos legales. Sin embargo, me parece que es posible extraer de este caso algunas ideas preliminares sobre este asunto, con una visión prospectiva.
- Una idea es que, mientras el nivel de fiabilidad de los sistemas de inteligencia artificial esté en duda, ya que siguen siendo 'delirantes' de vez en cuando, no es posible aceptar una situación en la que una autoridad administrativa se aparta de su discreción y base su decisión exclusivamente, o casi exclusivamente, y sin ningún control, en la producción de dichos sistemas (el requisito de la implicación humana en ciertos procesos de toma de decisiones, con énfasis en las decisiones de las autoridades administrativas, A menudo se refiere a este requisito en la literatura como un requisito para el "humano en el bucle", un requisito que puede aplicarse tanto en la etapa de toma de decisiones como en las primeras etapas del diseño de algoritmos y el entrenamiento del sistema; en este último contexto, véase: Niva Elkin-Koren y Maayan Perl, "Inteligencia Artificial: Tecnología disruptiva en el derecho israelí", Mishpat, Society and Culture 8, nº 11, 22 (2025)). Esto es especialmente cierto cuando se trata de una decisión sustantiva, que tiene un impacto real en el ciudadano (para un análisis de varios aspectos de este asunto, con sus muchas complejidades y los numerosos desafíos que plantea, véase, por ejemplo: Rebecca Crootof, Margot E. Kaminski & W. Nicholson Price II, Humanos en el Loop, 76 L. Rev. 429 (2023); Ryan Calo y Danielle Keats Citron, El Estado Administrativo Automatizado: Una Crisis de Legitimidad, 70 Emory L. J. 797 (2021); Amit Haim, El Estado Administrativo y la Inteligencia Artificial: Hacia una Ley Interna de los Algoritmos Administrativos, 14 UC Irvine L. Rev. 103 (2024); Principios de Política, Regulación y Ética en el Campo de la Inteligencia Artificial 53-59 (2023 ) del Ministerio de Innovación, Ciencia y Tecnología y Ministerio de Justicia (en adelante: Documento de Política y Regulación en el Campo de la Inteligencia Artificial)).
- Así, incluso si, en el marco de la formulación y redacción de la decisión, los funcionarios administrativos cuentan con la ayuda de un sistema de inteligencia artificial —y como se ha señalado, no hay nada de malo en esto en sí mismo— deben supervisar, examinar y verificar. Esto es cierto tanto en lo que respecta al ejercicio de la discreción en sus méritos, como en lo que respecta al razonamiento subyacente a la decisión (recalcaré que lo anterior no constituye una expresión de posición sobre la cuestión de si, incluso en contextos donde el nivel de fiabilidad de los sistemas de inteligencia artificial será muy alto, e incluso supere al de los profesionales humanos, las autoridades administrativas podrán tomar decisiones sin intervención humana en absoluto, especialmente en asuntos que tienen un impacto significativo en la vida de los ciudadanos; otra visión para el futuro).
- Otro aspecto que se puede deducir de la discusión anterior y de las circunstancias del caso se refiere al requisito de divulgación sobre el uso de inteligencia artificial. Tal requisito aún no está grabado en nuestro sistema jurídico, pero parece que ciertamente puede haber lógica en establecer tal deber, al menos en ciertos contextos, donde el impacto en el ciudadano puede ser grande. Una razón central para esto es que tal divulgación puede ayudar un poco a reducir las disparidades de poder que mencioné antes, de modo que el ciudadano en cuyo caso se ha tomado una decisión usando inteligencia artificial pueda al menos ser consciente de ello, lo que mejorará ligeramente su capacidad para planificar sus pasos en consecuencia, examinar la corrección de la decisión e incluso lograr un aumento en las vías adecuadas (véase y compare: Documento de Política y Regulación en el Campo de la Inteligencia Artificial, pp. 63-66, 85-86; Para un análisis exhaustivo sobre la cuestión de la divulgación y la transparencia, en el contexto del uso de la inteligencia artificial por parte de las autoridades, véase: Dalit Kan-Dror Feldman, Or Sadan, Racheli Edri-Hulta y Uri Szold, "Transparencia en la era de la inteligencia artificial: derecho israelí", Mishpat, Society and Culture, 8 (2025)). En cualquier caso, está claro que no estoy poniendo remaches, y estas palabras se pronuncian en forma de reflejos, con una mirada al frente.
- El segundo nivel sobre el que se pueden extraer conclusiones prácticas de la discusión anterior se refiere al alcance de la revisión judicial y a la cuestión del remedio. Como es bien sabido, el alcance de la revisión judicial de la acción de una autoridad administrativa, así como el remedio concedido por un defecto que se produjo en ella, están estrechamente relacionados con la naturaleza y la naturaleza del defecto. Opino que el uso descontrolado de la inteligencia artificial por parte de la autoridad en el marco de su relación directa con el ciudadano abre la puerta a una revisión judicial más estricta y estricta, y puede justificar, por regla general, un remedio significativo. La primera razón de esto radica en la extrema gravedad de esta conducta, como se detalla arriba. La segunda razón radica en que, como se explicó, el uso descontrolado de la inteligencia artificial aumenta la sospecha de que existían fallos en el proceso de toma de decisiones, y que sufre de falta de razonamiento, arbitrariedad y otras deshonras. Una tercera razón, que deriva directamente del análisis de las disparidades de poder entre las partes, se encuentra en las consideraciones sobre el comportamiento directivo. Como he aclarado, es razonable suponer que en la mayoría de los casos, una persona de la comunidad no será consciente de que se ha tomado una decisión en su caso basada en un sistema de inteligencia artificial, e incluye diversas engaños y 'alucinaciones'; En cualquier caso, en casos como este, la decisión no pasará por la categoría de revisión judicial y permanecerá en vigor. Esto implica que existe la preocupación de que la autoridad no sea lo suficientemente cuidadosa al abstenerse de tal conducta, dada la baja probabilidad de que la decisión esté sujeta a un mecanismo externo de control (esta situación puede considerarse un caso de 'falta de disuasión'). Por tanto, para garantizar que las autoridades administrativas adopten métodos adecuados de conducta en este contexto, y para evitar el uso descontrolado de la inteligencia artificial en sus relaciones con el ciudadano desde el principio, deben saber que sus decisiones estarán sujetas a un control judicial meticuloso y riguroso, que también puede conllevar remedios significativos.
- De lo general a lo específico: El municipio realizó un uso incontrolado —por no hablar de la temeridad— de la inteligencia artificial, tanto en su relación directa con el padre del apelante, en respuesta a su petición, como en el marco del procedimiento legal. Esto es a gran escala, sin ningún control efectivo, y en un asunto muy fundamental para el apelante y su padre: el derecho a trasladar al menor, un estudiante de educación especial, a la escuela. Como resultado, había muchos defectos sustanciales en los documentos en su nombre, tanto en sus respuestas al ciudadano como en los documentos judiciales que presentó al tribunal. En estas circunstancias, y teniendo en cuenta todas las consideraciones que se aplican en tal caso, como se detalló arriba, opino que debemos transmitir un mensaje claro e imposible, e imponer al municipio gastos elevados.
Notas finales
- Antes de concluir, 3 comentarios. Primero, junto con la gravedad de la conducta del municipio y las preocupaciones que surgen a la luz del uso descontrolado de inteligencia artificial por parte de las autoridades administrativas, debemos tener cuidado de no 'derramar el bebé con el agua' (véase y comparar: El caso Anónimo, párrafo 26; "Corregir tu columna vertebral, y no distorsionarme" (Bavli, Bava Batra 169:2) – corregir (mejorar) tu columna vertebral, y no distorsionar (estropear)). El uso de la inteligencia artificial por parte de las autoridades administrativas probablemente aportará muchos beneficios a nuestro mundo y contribuirá de diversas maneras a mejorar y agilizar el funcionamiento de esas autoridades, al tiempo que en última instancia mejorará el servicio prestado al ciudadano. El mensaje, entonces, no es que la autoridad deba abstenerse de usar sistemas de inteligencia artificial; Ocurre lo contrario. Lo único que voy a decir es que este uso debe hacerse con sentido común y discreción, siendo conscientes de las limitaciones actuales de la tecnología y manteniendo la brújula, según la cual dicho uso se realiza en beneficio del ciudadano y protegiendo sus derechos.
- En segundo lugar, en muchos casos somos conscientes del conocimiento, como he dicho en el pasado, de que "la ley ha seguido perezosamente las innovaciones del mundo, y que la legislación no sigue el ritmo del progreso de la ciencia y sus aplicaciones" (Petición de apelación/Reclamación administrativa 3782/12 Comandante del distrito de Tel Aviv-Jaffa de la Policía de Israel contra la Asociación de Internet de Israel, párr. 23 [Nevo] (24 de marzo de 2013)). Esto es especialmente relevante en lo que respecta a la inteligencia artificial: una tecnología que se está desarrollando a un ritmo récord, que tiene un impacto significativo en nuestro mundo y que puede provocar cambios de gran alcance. Esta tecnología, dada la potencia y la amplitud de sus efectos, ya plantea considerables desafíos a nivel legal y se espera que siga presentándonos nuevos y cada vez más complejos desafíos. Las autoridades competentes —tanto el legislativo como el ejecutivo— harían bien en abordar estos desafíos, especialmente los más urgentes (como la cuestión de las obligaciones que se aplican a las autoridades administrativas al utilizar la inteligencia artificial), y diseñar, desde una perspectiva amplia, las herramientas adecuadas para afrontar esos desafíos.
- En tercer lugar, en la respuesta presentada por el municipio, el abogado del municipio argumentó que "incluso si hubo un error administrativo desafortunado en una u otra cita en los escritos", esto ocurrió "a la luz de la [...] internos" (en el sentido de "un estudiante equivocado"; en este caso, véase, por ejemplo, Rav Menashe Klein, Responsa Mishneh Hilkhot 12, párrafo 34). Este argumento habría sido mejor si no se hubiera hecho en absoluto. Incluso si esto es cierto a nivel fáctico —y para evitar dudas, no determino ni implico que sea realmente así— esto no eleva ni disminuye el caso. Está claro que la responsabilidad de lo que está escrito en el documento presentado al tribunal recae en el abogado que lo firmó.
En términos más generales, el intento de atribuir la responsabilidad de los errores en documentos judiciales presentados por un abogado a otras partes —ya sean becarios subordinados al abogado de coaching o sistemas tecnológicos de inteligencia artificial— es un intento despreciable que debe ser rechazado de plano. Como profesional, el abogado es personalmente responsable de la calidad del producto que produce, y no cumple con su deber confiando en otra persona, ya sea un ser humano o una inteligencia artificial.
- En resumen: por lo tanto, sugeriría a mi colega que aceptemos el recurso y obliguemos al ayuntamiento a pagar gastos por la suma de NIS 30,000 – que se refieren tanto al procedimiento que tenemos ante nosotros como al procedimiento que tuvo lugar en el Tribunal de Distrito, y especialmente al procedimiento administrativo.
Dudé hasta que decidí, esta vez, abstenerme de imponer gastos personales al abogado del municipio, en virtud de Sección 151(c) para las regulaciones; Como mínimo, mencionaré la mera existencia de esta posibilidad.