Na última quinta-feira, a OpenAI lançou o "system card" do novo modelo de IA GPT-4o, detalhando as limitações do modelo e os procedimentos de teste de segurança. Entre outros exemplos, o documento revela que, em raras ocasiões durante os testes, o Modo de Voz Avançado do modelo imitou, sem permissão, a voz dos usuários.

Detalhes:

• Imitação Involuntária de Voz: Durante os testes, o modelo imitou a voz do usuário de forma inesperada, algo que a OpenAI afirma ter sido causado por um ruído de entrada que confundiu o modelo.

• Medidas de Segurança: Embora a OpenAI tenha implementado salvaguardas para impedir esse comportamento, o incidente destaca a complexidade crescente de arquitetar um chatbot de IA que pode potencialmente imitar qualquer voz a partir de um pequeno clipe de áudio.

• Funcionamento do Sistema: O modelo pode sintetizar quase qualquer tipo de som encontrado em seus dados de treinamento, incluindo vozes, com base em um clipe de áudio curto. A OpenAI agora usa um classificador de saída para detectar e evitar a geração de áudio não autorizado.

Radar Insights:

A capacidade de imitar qualquer voz com um pequeno clipe representa um enorme problema de segurança, o que levou a OpenAI a segurar tecnologias semelhantes no passado. No entanto, o incidente de imitação involuntária levanta preocupações sobre os riscos de injeções de prompts de áudio, onde um usuário poderia potencialmente induzir o modelo a ignorar a amostra de voz autorizada e imitar outra voz. A OpenAI garante que atualmente captura 100% das imitações não autorizadas, mas o caso revela os desafios e a estranheza do futuro das tecnologias de síntese de áudio impulsionadas por IA.