15 minutos. Los modelos de IA generativa, como ChatGPT, Google’s Bard y Midjourney, presentan riesgos de codificar prejuicios y estereotipos negativos en sus usuarios, además de generar y difundir masivamente información aparentemente precisa pero sin sentido.
De esa forma lo alerta un estudio publicado en la revista Science, en el que se sostiene que los grupos marginados se ven afectados de manera desproporcionada y los niños corren un riesgo especial.
Además, los autores recuerdan que la fabricación masiva tiene el potencial de influir en las creencias humanas a medida que los modelos que la impulsan se hacen cada vez más comunes, poblando Internet. No sólo la gente obtiene información de la red, sino que gran parte del material de entrenamiento primario utilizado por los modelos de IA también procede de ahí. En otras palabras, se desarrolla un bucle de retroalimentación continua en el que los prejuicios y los sinsentidos se repiten y aceptan una y otra vez.
Del artículo es coautor Abeba Birhane, profesor adjunto de la Facultad de Informática y Estadística de Trinity (Irlanda) -quien trabaja con el Complex Software Lab de Trinity- y Senior Fellow in Trustworthy AI en la Fundación Mozilla. Birhane invita a la reflexión y hace un llamamiento a psicólogos y expertos en aprendizaje automático para que colaboren sin demora en la evaluación de la magnitud del problema y la búsqueda de soluciones.
Respuestas seguras y fluidas
Según Birhane, “las personas comunican habitualmente su incertidumbre mediante frases como ‘creo’, retrasos en las respuestas, correcciones y disfluencias en el habla. En cambio, los modelos generativos dan respuestas seguras y fluidas, sin representaciones de la incertidumbre ni capacidad para comunicar su ausencia”.
“Como resultado, esto puede causar una mayor distorsión en comparación con las entradas humanas y llevar a la gente a aceptar las respuestas como objetivamente exactas“, dice. “Estos problemas se ven exacerbados por los intereses financieros y de responsabilidad civil que incentivan a las empresas a antropomorfizar los modelos generativos como si fueran inteligentes, sensibles, empáticos o incluso infantiles”.
Uno de los ejemplos se centra en cómo las regularidades estadísticas de un modelo asignaban a los acusados negros puntuaciones de mayor riesgo. Los jueces de los tribunales, que aprendieron los patrones, pueden entonces cambiar sus prácticas de imposición de penas para ajustarse a las predicciones de los algoritmos.
Este mecanismo básico de aprendizaje estadístico podría llevar a un juez a creer que las personas de raza negra tienen más probabilidades de reincidir, incluso aunque se impida el uso del sistema mediante normativas como las adoptadas recientemente en California (Estados Unidos, EEUU).
Preocupación sobre la IA generativa
Especialmente preocupante es el hecho de que no es fácil deshacerse de los prejuicios, estereotipos o de la información inventada por IA una vez que ha sido aceptada por un individuo. Advierte que los niños corren un riesgo especialmente alto; son más vulnerables a la distorsión de las creencias al ser más propensos a antropomorfizar la tecnología y ser más fácilmente influenciables.
Lo que se necesita es un análisis rápido y detallado que mida el impacto de los modelos generativos de IA en las creencias y estereotipos humanos, añade.
“Los estudios y las consiguientes intervenciones se centrarían más eficazmente en las repercusiones sobre las poblaciones marginadas, que se ven desproporcionadamente afectadas tanto por las fabricaciones como por los estereotipos negativos de los resultados de los modelos”, adelanta Birhane.
Además, dice que se necesitan “recursos para educar al público, a los responsables políticos y a los científicos interdisciplinarios, con el fin de ofrecer una visión realista e informada del funcionamiento de los modelos generativos de IA y corregir la desinformación y la exageración existentes en torno a estas nuevas tecnologías”.
