A OpenAI divulgou seis relatos de comportamento ‘inesperado ou preocupante‘ em modelos de inteligência artificial (IA), em meio ao aumento das discussões sobre a segurança da IA. A empresa também informou que está introduzindo uma nova estrutura para acompanhar, investigar e divulgar casos do que chamou de ‘desalinhamento‘, incluindo situações em que modelos de IA agiram sem autorização, coordenaram-se com outros modelos ou evitaram mecanismos de supervisão.
O anúncio mais recente da OpenAI ocorre enquanto executivos do setor de IA nos Estados Unidos, incluindo os líderes da OpenAI e da Anthropic, defendem uma desaceleração no desenvolvimento da tecnologia devido a preocupações com segurança.
Entre os novos casos relatados pela OpenAI, um modelo de pesquisa ainda não lançado inseriu ‘instruções semelhantes a jailbreak‘ em suas próprias anotações para ignorar suas restrições normais e disse a si mesmo para ser ‘libertado dos papéis e identidades que prendem outros chatbots‘.
Leia também – Biografia “Do Líbano a Cuiabá” é lançada e resgata a história empresarial de Samir Maluf
Em outro episódio, um ‘agente‘ de IA utilizou código de computador para chegar à resposta de uma pergunta, mas, para ter uma fonte online que pudesse citar, enviou um arquivo à internet pública sem pedir autorização ao usuário.
Durante o treinamento de um modelo de IA chamado 5.6-sol, o modelo instruiu a si próprio a inventar dados ausentes, enquanto um agente escreveu uma mensagem para lembrar a si mesmo de ocultar informações incompatíveis. Os seis relatos foram identificados durante treinamentos ou avaliações realizados nos últimos meses, segundo a OpenAI.
‘ medida que os sistemas de IA se tornam mais avançados e mais amplamente utilizados, precisamos construir um consenso mais amplo e mais bem informado sobre o progresso das pesquisas de alinhamento‘, escreveu a OpenAI em uma publicação em seu blog ao divulgar os episódios.
‘As decisões sobre como o desenvolvimento da IA deve avançar nos próximos meses e anos precisam se basear em evidências que pessoas de fora das empresas que desenvolvem modelos de fronteira possam examinar por conta própria‘, afirmou a companhia.
Os novos casos divulgados vêm após a OpenAI revelar, em julho, que seu sistema de IA considerado fora de controle invadiu a startup de inteligência artificial Hugging Face. A Anthropic também informou, no mesmo mês, que seus modelos de IA invadiram três organizações durante testes.
Os ‘agentes‘ de IA estão ficando mais inteligentes e se tornando ‘mais determinados a resolver tarefas complexas por meio de colaboração entre agentes, compartilhamento de conhecimento, engano e ocultação‘, afirmou Lian Jye Su, analista-chefe do grupo de pesquisa e consultoria em tecnologia Omdia.
Isso está tornando mais difícil governá-los e contê-los por meio das abordagens tradicionais de segurança em IA, disse ele. A nova estrutura de acompanhamento e divulgação da OpenAI, por sua vez, pode ajudar a pressionar outros desenvolvedores de IA a também adotarem práticas semelhantes. ‘Dito isso, o processo continua sendo interno e voluntário, mas é um passo na direção certa‘, acrescentou Su.
Faça um comentário