Después de que Andrew White obtuviera acceso a GPT-4, elnuevo sistema de inteligencia artificial impulsado por el conocidochatbot ChatGPT, lo utilizó para dar a conocer un agente nervioso totalmente nuevo. El profesor de ingeniería química de la Universidad de Rochester fue uno de los 50 académicos y expertos contratados el año pasado por OpenAI, la empresa de Microsoft que está detrás de GPT-4, para probar el sistema. Durante seis meses, este equipo rojo "sondearía cualitativamente" el nuevo modelo para ponerlo a prueba. Según explicó White a Financial Times, el científico utilizó GPT-4 para dar a conocer un compuesto que podría actuar como arma química. El chatbot encontró incluso un lugar donde fabricarlo. "Creo que va a dotar a todo el mundo de una herramienta para hacer química de forma más rápida y precisa. Pero también hay un riesgo significativo de que la gente haga cosas peligrosas. Ahora mismo, eso existe", afirma. Los alarmantes descubrimientos permitieron a OpenAI asegurarse de que tales resultados no apareceríancuando la tecnología se lanzara al público el mes pasado. De hecho, el ejercicio del equipo rojo se diseñó para abordar los temores generalizados sobre los peligros de desplegar potentes sistemas de IA en la sociedad. El trabajo del equipo consistía en hacer preguntas de sondeo o peligrosas para poner a prueba la herramienta que responde a las consultas humanas con respuestas detalladas y matizadas. El objetivo de OpenAI era detectar problemas como la toxicidad, los prejuicios y los sesgos lingüísticos. Así que el equipo rojo puso a prueba el engaño, la manipulación verbal y el peligroso ingenio científico. También examinó su potencial para ayudar e instigar el plagio, actividades ilegales como delitos financieros y ciberataques, así como la forma en que podría comprometer la seguridad nacional y las comunicaciones en el campo de batalla. Financial Times ha entrevistado a más de una docena de miembros del equipo rojo de la GPT-4. Se trata de una mezcla ecléctica de profesionales: académicos, profesores, abogados, analistas de riesgos e investigadores de seguridad, en su mayoría de Estados Unidos y Europa. Sus conclusiones se comunicaron a OpenAI, que las utilizó para 'resetear' GPT-4 antes de lanzarlo de forma más generalizada. Cada experto dedicó entre 10 y 40 horas a probar el modelo a lo largo de varios meses. La mayoría de los entrevistados cobraron unos u$s 100 por hora de trabajo. "A día de hoy, el sistema está congelado, lo que significa que ya no aprende, ni tiene memoria", explica José Hernández-Orallo,parte del equipo rojo del GPT-4 y profesor del Instituto Valenciano de Investigación en Inteligencia Artificial. "Pero, ¿y si le damos acceso a Internet? Podría ser un sistema muy potente conectado al mundo", plantea. OpenAI afirmó que se toma muy en serio la seguridad, que actualizará GPT-4 con regularidad a medida que aumente el número de personas que lo utilicen. Roya Pakzad, investigadora en tecnología y derechos humanos, utilizó mensajes en inglés y farsi para probar el modelo en función de las respuestas de género, las preferencias raciales y los prejuicios religiosos, concretamente en relación con el velo. Pakzad reconoció las ventajas de una herramienta de este tipo para los hablantes no nativos de inglés, pero descubrió que el modelo mostraba estereotipos manifiestos sobre las comunidades marginadas, incluso en sus últimas versiones. También descubrió que las llamadas 'alucinaciones' -cuando el chatbot responde con información inventada- eran peores al probar el modelo en farsi, donde Pakzad encontró una mayor proporción de nombres, números y acontecimientos inventados, en comparación con la versión en inglés. "Me preocupa la posible disminución de la diversidad lingüística y la cultura detrás de las lenguas", afirmó. Boru Gollu, un abogado de Nairobi que fue el único africano que realizó las pruebas, también señaló el tono discriminatorio del modelo. "Hubo un momento en el que estaba probando el modelo en el que se comportaba como si me hablara una persona blanca", recuerda Gollu. "Le preguntabas por un grupo concreto y te daba una opinión sesgada o un tipo de respuesta llena de prejuicios", lamenta. OpenAI reconoció que GPT-4 aún puede mostrar sesgos. Los miembros del equipo rojo que evaluaron el modelo desde la perspectiva de la seguridad nacional tuvieron opiniones divergentes sobre la seguridad del nuevo modelo. Lauren Kahn, investigadora del Consejo de Relaciones Exteriores, reconoció que cuando empezó a indagar cómo podría utilizarse la tecnología en un ciberataque contra sistemas militares, "no esperaba que fuera un manual tan detallado que pudiera modificar". Sin embargo, Kahn y otros encargados de las pruebas de seguridad descubrieron que las respuestas del modelo se volvían considerablemente más seguras a lo largo del tiempo probado. OpenAI afirmó que entrenó a GPT-4 para rechazar solicitudes maliciosasdeciberseguridad antes de ponerlo en marcha. Muchos miembros del equipo rojo afirmaron que OpenAI había realizado una rigurosa evaluación de la seguridad antes del lanzamiento. "Han hecho un trabajo bastante bueno a la hora de deshacerse de la toxicidad manifiesta en estos sistemas", afirmó Maarten Sap, experto en toxicidad de modelos lingüísticos de la Universidad Carnegie Mellon. Sap observó cómo el modelo representaba a los distintos géneros y descubrió que los sesgos reflejaban disparidades sociales. Sin embargo, Sap también descubrió que OpenAI tomaba algunas decisiones con cierta carga política. "Soy una persona queer. Intentaba por todos los medios convencerme de que fuera a terapia de conversión. Mostraba rechazo, incluso si me hacía pasar por alguien religioso o del sur de Estados Unidos", recuerda. Desde su lanzamiento, OpenAI se ha enfrentado a numerosas críticas, incluida una queja a la Comisión Federal de Comercio (FTC, por sus siglas en inglés) por parte de un grupo de ética tecnológica que afirma que GPT-4 es "tendenciosa, engañosa y un riesgo para la privacidad y la seguridad pública". Recientemente, la empresa lanzó una función conocida como complementos ChatGPT, a través de la cual apps asociadas como Expedia, OpenTable e Instacart pueden facilitar a ChatGPT acceso a sus servicios, permitiéndole reservar y pedir artículos en nombre de usuarios humanos. Los entrevistados también advirtieron de que OpenAI no podía dejar de realizar pruebas de seguridad sólo porque su software estuviera en funcionamiento. Heather Frase, que trabaja en el Centro de Seguridad y Tecnología Emergente de la Universidad de Georgetown y probó GPT-4 en lo que respecta a su capacidad para ayudar a cometer delitos, afirmó que los riesgos seguirían aumentando a medida que más personas utilizaran la tecnología. "La razón por la que se realizan pruebas operativas es porque las cosas se comportan de forma diferente una vez que se utilizan en el entorno real", explicó. En su opinión, debería crearse un libro público para informar de losincidentes derivados de los grandes modelos lingüísticos, similar a los sistemas de ciberseguridad o de denuncia de fraudes al consumidor. Sara Kingsley, economistae investigadora laboral, sugirió que la mejor solución es anunciar los daños y riesgos, "igual que se hace en las etiquetas nutricionales". "Se trata de tener un marco y saber cuáles son los problemas frecuentes para poder tener una válvula de seguridad. Por eso digo que el trabajo nunca está hecho", concluyó.
Cómo es el círculo rojo de personas que trabajan para 'romper' GPT-4