Los detectores de IA están sesgados contra los hablantes no nativos de inglés, dice el profesor Wharton

Los detectores de inteligencia artificial (IA) para detectar contenido generado por tecnologías como ChatGPT no deben usarse en las aulas, según un profesor de la Escuela Wharton de la Universidad de Pensilvania. Estos detectores, que supuestamente han sido utilizados por maestros de todo el mundo, incluida la India, parecen estar extremadamente sesgados contra los hablantes no nativos de inglés. «Realmente, realmente no debería confiar en los detectores de IA para uso en el aula», tuiteó Ethan Mollick, profesor asociado de innovación y emprendimiento en Wharton School. Lea también: El creador de ChatGPT, Sam Altman, se encuentra con otro director ejecutivo en India. Este es su amigo de Stanford Citando una investigación realizada por la Universidad de Stanford, Mollick tuiteó: «Este nuevo documento muestra que no solo son muy fáciles de derrotar con solo invitarlos unas cuantas veces, sino que tienen altas tasas de falsos positivos locos contra los no nativos». Hablantes de inglés El estudio titulado «Los detectores GPT están sesgados contra los escritores no nativos del inglés» evaluó el rendimiento de los detectores GPT ampliamente utilizados utilizando muestras de escritura de escritores nativos y no nativos del inglés. muestras de escritura generadas por la IA, mientras que las muestras de escritura nativas se identifican con precisión», afirma el estudio. Demostramos que las estrategias de ayuda simples no solo pueden mitigar este sesgo, sino también eludir de manera efectiva los detectores de GPT, lo que sugiere que los detectores de GPT pueden penalizar involuntariamente a los escritores con expresiones lingüísticas restringidas», dijo el estudio. Los investigadores pidieron una «conversación más amplia sobre las implicaciones éticas de implementar detectores de contenido de ChatGPT» y advirtieron contra el uso de detectores en entornos evaluativos o educativos, «particularmente cuando pueden penalizar o excluir inadvertidamente a los hablantes no nativos de inglés del discurso global». . Lea también: El propietario de TikTok prueba el bot estilo ChatGPT después de unirse a China AI Race Mollick dio otras razones por las que estos detectores no funcionan: «1) A menudo están entrenados en GPT-3.5, por lo que GPT-4 los supera 2) Incluso si te advierten sobre el uso potencial de la IA, no hay forma de saber si es cierto 3) Los estudiantes que trabajan de forma interactiva con las pruebas de derrota de la IA, como lo encontró mi clase”. Agregó los peligros de que la IA del detector haga cosas. «Además, nunca le pidas a una IA que identifique si algo está escrito por la IA. No puede hacer eso, pero puede inventar una respuesta aleatoria si se le presiona lo suficiente», dijo Mollick.