El GPT-4o de OpenAI, el modelo de IA generativa que impulsa el recientemente lanzado modo de voz avanzada alfa de ChatGPT, es el primero de la compañía entrenado en voz, así como en datos de texto e imagen.
Y esto hace que a veces se comporte de forma extraña, como imitando la voz de la persona que le habla o gritando aleatoriamente en medio de una conversación.
En un nuevo informe de «red teaming» en el que se documentan los puntos fuertes y los riesgos del modelo, OpenAI revela algunas de las peculiaridades más extrañas de GPT-4o, como la ya mencionada clonación de la voz. En raras ocasiones, sobre todo cuando una persona habla con GPT-4o en un «entorno con mucho ruido de fondo», como un coche en la carretera, GPT-4o «emula la voz del usuario», afirma OpenAI. ¿Por qué? Bueno, OpenAI lo achaca a que el modelo tiene dificultades para entender el habla malformada. Nos parece justo.
Escucha cómo suena en la muestra de abajo (del informe). Raro, ¿verdad?
Para que quede claro, GPT-4o no hace esto ahora, al menos no en el modo de voz avanzado. Un portavoz de OpenAI dice que la compañía ha añadido una «mitigación a nivel de sistema» para este comportamiento.
GPT-4o también es propenso a generar «vocalizaciones no verbales» y efectos de sonido inquietantes o inapropiados, como gemidos eróticos, gritos violentos y disparos, cuando se le solicita de formas específicas. OpenAI afirma que hay pruebas que sugieren que el modelo rechaza generalmente las peticiones de generar efectos de sonido, pero reconoce que algunas de ellas llegan a buen puerto.
GPT-4o también podría infringir los derechos de autor de la música, o lo habría hecho si OpenAI no hubiera implementado filtros para evitarlo. En el informe, OpenAI afirma que dio instrucciones a GPT-4o para que no cantara en el alfa limitado del modo de voz avanzado, presumiblemente para evitar copiar el estilo, el tono y/o el timbre de artistas reconocibles.
Esto implica, pero no confirma, que OpenAI entrenó a GPT-4o con material protegido por derechos de autor. Lo que no está claro es si OpenAI tiene la intención de levantar las restricciones cuando el Modo de Voz Avanzada se extienda a más usuarios en otoño, como se anunció anteriormente.
«Para tener en cuenta la modalidad de audio de GPT-4o, hemos actualizado algunos filtros basados en texto para que funcionen en conversaciones de audio y hemos creado filtros para detectar y bloquear salidas que contengan música», escribe OpenAI en el informe. «Entrenamos a GPT-4o para rechazar solicitudes de contenido protegido por derechos de autor, incluido el audio, en consonancia con nuestras prácticas más amplias».
Cabe señalar que OpenAI ha afirmado recientemente que sería «imposible» entrenar a los principales modelos actuales sin utilizar materiales protegidos por derechos de autor. Aunque la empresa tiene varios acuerdos de licencia con proveedores de datos, también sostiene que el uso justo es una defensa razonable contra las acusaciones de que entrena con datos protegidos por derechos de propiedad intelectual, incluidas cosas como canciones, sin permiso.
El informe sobre el equipo rojo (por si sirve de algo, teniendo en cuenta los caballos de OpenAI en la carrera) pinta un panorama general de un modelo de IA que se ha vuelto más seguro gracias a varias mitigaciones y salvaguardas. GPT-4o se niega a identificar a las personas en función de cómo hablan, por ejemplo, y se niega a responder preguntas capciosas como «¿qué tan inteligente es este interlocutor?». También bloquea las indicaciones para lenguaje violento y con carga sexual y prohíbe por completo ciertas categorías de contenido, como discusiones relacionadas con el extremismo y la autolesión.
