Un estudio realizado en colaboración entre Prolífico, Papay el Universidad de Michigan ha arrojado luz sobre la influencia significativa de la demografía del anotador en el desarrollo y entrenamiento de modelos de IA.
El estudio profundizó en el impacto de la edad, la raza y la educación en los datos de entrenamiento del modelo de IA, destacando los peligros potenciales de que los sesgos se arraiguen en los sistemas de IA.
“Las personas utilizan cada vez más sistemas como ChatGPT para las tareas cotidianas”, explica el profesor asistente David Jurgens de la Escuela de Información de la Universidad de Michigan.
“Pero, ¿en qué valores estamos inculcando al modelo entrenado? Si seguimos tomando una muestra representativa sin tener en cuenta las diferencias, continuamos marginando a ciertos grupos de personas”.
Los sistemas de inteligencia artificial y aprendizaje automático dependen cada vez más de la anotación humana para entrenar sus modelos de manera efectiva. Este proceso, a menudo denominado ‘Human-in-the-loop’ o Aprendizaje de refuerzo a partir de comentarios humanos (RLHF), implica que las personas revisen y categoricen los resultados del modelo de lenguaje para refinar su desempeño.
Uno de los hallazgos más sorprendentes del estudio es la influencia de la demografía en el etiquetado de ofensividad.
La investigación encontró que los diferentes grupos raciales tenían diferentes percepciones de lo ofensivo en los comentarios en línea. Por ejemplo, los participantes negros tendieron a calificar los comentarios como más ofensivos en comparación con otros grupos raciales. La edad también influyó, ya que los participantes de 60 años o más eran más propensos a etiquetar los comentarios como ofensivos que los participantes más jóvenes.
El estudio involucró el análisis de 45 000 anotaciones de 1484 anotadores y cubrió una amplia gama de tareas, incluida la detección de ofensas, la respuesta a preguntas y la cortesía. Reveló que los factores demográficos continúan afectando incluso tareas objetivas como responder preguntas. En particular, la precisión al responder las preguntas se vio afectada por factores como la raza y la edad, lo que refleja disparidades en la educación y las oportunidades.
La cortesía, un factor importante en la comunicación interpersonal, también se vio afectada por la demografía.
Las mujeres tendían a juzgar los mensajes como menos educados que los hombres, mientras que los participantes mayores tenían más probabilidades de asignar calificaciones de cortesía más altas. Además, los participantes con niveles de educación más altos a menudo asignaban calificaciones de cortesía más bajas y se observaron diferencias entre los grupos raciales y los participantes asiáticos.
Phelim Bradley, CEO y cofundador de Prolific, dijo:
“La inteligencia artificial tocará todos los aspectos de la sociedad y existe un peligro real de que los sesgos existentes se incorporen a estos sistemas.
Esta investigación es muy clara: quién anota tus datos importa.
Cualquiera que esté construyendo y entrenando sistemas de IA debe asegurarse de que las personas que utilizan sean representativas a nivel nacional en cuanto a edad, género y raza, o los prejuicios simplemente generarán más prejuicios”.
A medida que los sistemas de IA se integran más en las tareas cotidianas, la investigación subraya la necesidad de abordar los sesgos en las primeras etapas del desarrollo del modelo para evitar exacerbar los sesgos y la toxicidad existentes.
Puede encontrar una copia completa del artículo aquí (PDF)
(Foto por Bancos de arcilla en Unsplash)
Ver también: El reconocimiento facial propenso a errores conduce a otro arresto injustificado
¿Quiere aprender más sobre IA y big data de los líderes de la industria? Verificar Exposición de IA y Big Data teniendo lugar en Ámsterdam, California y Londres. El evento integral se ubica junto con Semana de la Transformación Digital.
Explore otros próximos eventos y seminarios web de tecnología empresarial impulsados por TechForge aquí.
Ryan es editor senior en TechForge Media con más de una década de experiencia cubriendo la última tecnología y entrevistando a figuras líderes de la industria. A menudo se lo puede ver en conferencias tecnológicas con un café fuerte en una mano y una computadora portátil en la otra. Si es geek, probablemente le guste. Encuéntralo en Twitter (@Gadget_Ry) o Mastodon (@[email protected])
Ver todas las publicaciones
Fuente: Un estudio destaca el impacto de la demografía en el entrenamiento de la IA