Cambios en el Reglamento de la inteligencia artificial

La IA Act, como se denomina legalmente el Reglamento, es el primer marco normativo integral del mundo que regula el desarrollo, comercialización y uso de la inteligencia artificial en la Unión Europea.

Porque usar la inteligencia artificial es arriesgado. El Reglamento clasifica los usos en cuatro grupos de riesgo: inaceptable, alto, limitado y mínimo. El nivel de riesgo tiene que ver con los impactos en los derechos de las personas. Cuantos más derechos puede dañar más obligaciones comporta.

Es un Reglamento bueno pero que la sociedad civil califica de insuficiente. Es malo por insuficiente. El Reglamento de IA de la Unión Europea se queda corto.

Sí. El Reglamento se aplica a todas las entidades que usen inteligencia artificial.

Si alguien de tu entidad usa inteligencia artificial generativa (por ejemplo ChatGPT, Claude, DeepSeek, etc.), aunque sea de vez en cuando, ya estáis usando inteligencia artificial.

La cuestión no es la herramienta que usas, sino el uso concreto que le das en cada momento. Una misma herramienta, por ejemplo ChatGPT, en un momento puede ser de riesgo alto y en otro momento de riesgo bajo, según la finalidad para la que la estés usando. El riesgo no va por herramientas ni por volumen. Va caso por caso, momento por momento.

Sí. La entidad es responsable porque es la “responsable del despliegue”. La entidad debe conocer los usos que están haciendo las personas. El uso que hacen las personas sin que la entidad lo sepa es lo que se conoce como “inteligencia artificial en la sombra”. La inteligencia artificial en la sombra impide la transparencia, que es una de las obligaciones que impone el reglamento.

Falso. El riesgo no viene por lo que usas sino para qué lo usas.

Por ejemplo, usar ChatGPT o herramienta similar para filtrar currículums en un proceso de selección de personal, aunque solo hayas filtrado por titulación o por lugar de residencia, es una actividad de riesgo alto. No hace falta que hayas filtrado por género o por edad. Cualquier uso relacionado con la selección de personal, por inofensivo que parezca, es de riesgo alto. ¿Porqué? Porque un error en el filtrado puede tener consecuencias muy graves para la persona que queda descartada. Y los chatbots cometen errores.

Si eres pofe, usar ChatGPT o herramienta similar para cualquier tipo de evaluación del alumnado, aunque no sea para poner nota sino solo para evaluar la rúbrica, es de riesgo alto. ¿Por qué? Porque una evaluación errónea puede tener consecuencias muy graves para la persona evaluada. Y los chatbots cometen errores.

Eso no baja el riesgo.

Todo lo que sea tomar decisiones que implican a personas es de riesgo alto. Aunque luego revises las respuestas del chatbot, estos usos siguen siendo de riesgo alto. Lo que determina el riesgo es la finalidad del uso. Los riesgos altos tienen obligaciones farragosas. Nuestra recomendación: No usar inteligencia artificial para nada que tenga que ver con personas.

Hay otras alternativas. Por ejemplo, en un proceso de selección de personal en lugar de pedir currículums que os llegarán en pdf y que serán difíciles de procesar, cread en vuestra web un formulario para que las personas introduzcan sus datos, especialmente los que querréis filtrar (titulación, años de experiencia, etc.). Los resultados del formulario generarán una hoja de cálculo en la que, aunque haya muchos datos, es fácil filtrar con total control y privacidad. Es una manera libre, segura y eficiente de procesar información.

El software tradicional con reglas fijas programadas, el de “toda la vida”, queda fuera del Reglamento.

El organismo que supervisa el cumplimiento del reglamento es la AESIA. La AESIA puede multaros.

Pero no estamos hablando de actuar por miedo a las sanciones. Estamos hablando de actuar por responsabilidad colectiva.

El uso de la inteligencia artificial es arriesgado. Es una tecnología que no está suficientemente probada y testada, que se ha implantado aceleradamente. Es como tomar un medicamento que no está suficientemente testado. A lo mejor a corto plazo cura, pero a medio plazo puede tener efectos perniciosos.

A día de hoy ignoramos las consecuencias sociales y colectivas del uso masivo de la inteligencia artificial. Una persona puede estar haciendo poco, pero el uso combinado de millones y millones de personas puede tener consecuencias de impacto alto. Algo parecido a lo que pasa con el cambio climático.

Por eso, nuestra recomendación es tomarse en serio el reglamento, y además hacer presión social para que se cumpla a todos los niveles. No por multas. Por cuidado de lo colectivo y en defensa de los derechos de las personas.

El Reglamento establece que el responsable del despliegue es quien utiliza una herramienta de inteligencia artificial bajo su propia autoridad. Es decir: tu entidad. Eso comporta obligaciones distintas para los distintos riesgos.

Usos de riesgo inaceptable: están directamente prohibidos y seguramente no estarán al alcance de vuestra entidad. Son los que tienen que ver con reconocimiento facial o reconomiento de emociones. No os preocuéis por esas obligaciones.

Usos de riesgo alto: nuestra recomendación es evitarlos. Si no los puedes o quieres evitar, el Reglamento impone una serie de obligaciones. Las obligaciones son:

• Usar el sistema conforme a las instrucciones del proveedor. Por ejemplo, en las políticas de uso de CharGPT se indica que no está permitido el uso para automatización de decisiones de riesgo alto en ámbitos sensibles sin revisión humana (educación, jurídico, etc.). Si lo haces no solo estás haciendo un uso de riesgo alto sino que además estás saltándote las instrucciones del proveedor. Es decir, estás haciendo un uso de riesgo alto con una herramienta que el proveedor dice que no es la adecuada. En ese caso estás modificando la finalidad de una herramienta por lo que tu rol ya no es el despliegue sino que pasa a ser el rol de proveedor, con unas obligaciones mucho más estrictas (como si tú hubieras fabricado el ChatGPT). Por ejemplo, usar un chatbot generalista (ChatGPT, Claude, etc.) para filtrar o evaluar currículums de personas candidatas a un puesto de trabajo, te convierte en proveedor. Esta obligación entrará en vigor el día 2 de diciembre del 2027.
• Encomendar la supervisión humana a personas con competencia y formación suficientes. Competencia y formación no en el uso de los prompts para que sean eficaces sino en los riesgos del uso de la inteligencia artificial. Y desde nuestra visión añadiríamos: formación también sobre los impactos ecosociales. Esta obligación ya es aplicable.
• Garantizar que los datos de entrada sean adecuados. Por ejemplo, si hay que evaluar personas candidatas a un puesto de trabajo hay que introducir el currículum entero, no solo un trozo. Pero ¡ojo! Esto colisiona con el Reglamento de Protección de Datos Personales, que establece que los datos que se comparten han de ser los mínimos necesarios y justficado. Según el Reglamento de Protección de Datos personales, si usas ChatGPT con una cuenta personal deberías anonimizar el currículum, lo cual es muy complicado si lo tienes en PDF. Otro caso en el que la adecuación de los datos de entrada puede colisionar con el Reglamento de Protección de Datos Personales es si introduces un mail entero para que el chatbot genere una respuesta. El mail tiene datos personales (el correo, el teléfono, que puede estar en la firma, que no son relevantes para confeccionar la respuesta. Además, puede incluir información no relevante, como por ejemplo alguna frase sobre la situación personal, familiar… o sobre otro tema. “Datos de entrada adecuados” requiere mucha atención. Respecto al calendario de aplicación de esta obligación, la parte “datos adecuados” entra en vigor el día 2 de diciembre del 2027, pero el Reglamento de Protección de Datos Personales hace años que está en vigor.
• Conservar los registros (logs). Guardar los prompts que se usaron, los documentos adjuntos, el contexto, el momento, desde qué cuenta, con qué herramienta… El objetivo es poder atender a reclamaciones. Esta obligación entrará en vigor el día 2 de diciembre del 2027.
• Supervisar activamente el funcionamiento del sistema para detectar errores, sesgos… Por ejemplo el chatbot descarta el currículum de una persona cualificada. Como responsable del despliegue debes estar continuamente revisando los resultados, detectar anomalías y dejar de utilizar la herramienta hasta detectar la causa. Esto implica una vigilancia proactiva y continua, que es costosa. Esta obligación entrará en vigor el día 2 de diciembre del 2027.
• Comunicar incidentes graves al proveedor o a la autoridad competente (AESIA). Esta obligación entrará en vigor el día 2 de diciembre del 2027.
• E informar a las personas afectadas por la decisión que se va a tomar. Por ejemplo, a todas las personas que enviaron el currículum. Es una medida de transparencia. Esta obligación ya está en vigor.

Usos de riesgo limitado: el uso general de los chatbots cae en esta categoría y, en general, las obligaciones tienen que ver con la transparencia. Estas obligaciones ya están en vigor. Son:

• Informar cuando una persona interactúa con una inteligencia artificial, por ejemplo un chatbot en vuestra web.
• Informar sobre contenidos generados o manipulados con inteligencia artificial. Esta obligación de transparencia es más complicada de lo que parece. Por ejemplo:
  • En el caso de grabar una reunión de trabajo y luego transcribirla con inteligencia artificial, la parte «grabar» tiene que ver con el Reglamento de Protección de Datos personales. Se necesita autorización de todas las personas participantes. Pero la parte «transcribir con inteligencia artificial» tiene que ver con el Reglamento IA ACT. Será un caso de uso de riesgo alto o limitado dependiendo de para qué se use la transcripción. En todo caso, las consecuencias de los errores en la transcripción no son del proveedor de la herramienta, sino del responsable del despliegue (tu entidad).
  • En el caso de publicar (en un cartel, en la web, en un informe…) una imagen generada desde cero con inteligencia artificial o modificada a partir de otra, hay obligación de informarlo de forma visible y clara. Pero esta obligación no afecta a todos los contenidos. Solo afecta a imágenes que puedan confundirse con imágenes reales. Una imagen artística de un elefante volador no hace falta informarla porque se supone que nadie la va a confundir con un hecho real. Pero si en un cartel para recaudar fondos por una catástrofe humanitaria pones una imagen que el público pueda creer que es una imagen real, tomada sobre el terreno, entonces sí que hay que informar. Legalmente se considera un deepfake. La obligación aplica a toda imagen que pueda ser confundida con una imagen real, tomada con una cámara.¡Ojo! Si se incumple esta obligación la sanción no recae sobre la persona que la incumplió, sino que cae sobre la entidad.
  • En el caso de generar un texto, también hay obligación de informar cuando el texto trata una información general de interés público. Una noticia generada automáticamente sobre el precio de los alquileres, la violencia de género o los incendios forestales ha de llevar un aviso de que se ha generado sin una revisión humana real. Si ha sido revisada por una persona, entonces no hay obligación de avisar. Pero ¡ojo! No vale cualquier revisión. Repasar faltas de ortografía, cambiar el título o sustituir cuatro palabras no es suficiente. Se entiende que revisar consiste en comprobar todos los datos, contrastar todas las fuentes, valorarlo técnicamente y corregir las afirmaciones erróneas y también las imprecisas. Esto lo tiene que hacer una persona concreta, con nombre y apellidos, que es la que asume la responsabilidad de esa publicación. No puede se la entidad genéricamente. La persona responsable debe poder explicar y justificar su decisión: por qué decidió que ese texto no tenía que llevar el aviso. Esta decisión debe dejarse documentada (quién la tomó, con qué argumentos, etc.). Lo que publicáis en la web o en redes sociales normalmente no va firmado, pero la entidad tiene la obligación de fijar quién es la persona responsable que hay detrás de cada una de sus publicaciones.

Como hemos dicho, la obligación de transparencia tiene bordes que hay que interpretar. Nuestra recomendación: aplicar el principio de transparencia con honradez. Más allá de lo que establezca el Reglamento, informar claramente a nuestras audiencias sobre cómo hemos generado cada uno de los contenidos. La transparencia genera confianza.

• Hacer una gestión adecuada de los datos personales, cumpliendo el Reglamento de Protección de Datos Personales.
• Formar a todas las personas que usan inteligencia artificial que, potencialmente, son todas las de la entidad. Como hemos dicho antes, no formación práctica para la eficiencia sino formación en riesgos e impactos.
  

Usos de riesgo mínimo: en esta categoría entran usos de la inteligencia artificial que pueden pasar desapercibidos. Por ejemplo un filtro antispam en el correo electrónico o un antivirus. Para estos usos no hay obligaciones específicas.

No. El Reglamento no está para fastidiarnos, pero la inteligencia artificial no es una broma. Su uso es arriesgado.

Para no volvernos locas basta con aplicar el sentido común. Pero ese sentido común tiene que haber sido sensibilizado y formado sobre los riesgos y los impactos de la inteligencia artificial y, desde nuestro punto de vista, construido colectivamente. Las corporaciones informan de los riesgos con la boca pequeña. Pero los riesgos son reales, por lo que debemos cambiar el negacionismo ingenuo y desinformado por una actitud proactiva, responsable y de apoyo mutuo. Mutuamente nos ayudamos a conocer y a entender, a respetar los derechos de las personas y a exigir a los poderosos que también los respeten.

Se puede seguir una guía intuitiva simple: no hacer con los datos de los demás lo que no me gustaría que hicieran con los míos.

En concreto hay cosas que tenemos que empezar a hacer:

• Evitar que las personas de nuestra entidad utilicen herramientas de inteligencia artificial sin control. Evitar la inteligencia artificial en la sombra.
• Concienciarnos y formarnos para el uso responsable y crítico, para poder hacer una evaluación constante sobre los riesgos de cada caso de uso concreto.
• Ordenar el uso de inteligencia artificial dentro de la entidad. Explicitarlo, llegar a acuerdos, consensuar un protocolo…
• Organizarnos con otras para poner luz y orden a todo esto.

Las obligaciones de alfabetización y de transparencia ya están en vigor. Hay que cumplirlas.

Calma. La AEISA no va a ir a por ti 🙂 Los procesos son lentos. Después del verano desde Dabne volveremos con propuestas concretas. No es un problema tuyo. Es un asunto de todas.

Mientras tanto, si tienes algo que decirnos estamos en dabne@dabne.net y en este formulario: