David Robinson, um dos integrantes da equipe de sistemas de segurança da OpenAI, deixou a empresa na semana passada e, posteriormente, publicou um artigo no qual criticou a cultura da empresa e a aceleração do desenvolvimento de modelos de inteligência artificial. Robinson alertou que o que descreveu como otimismo irrestrito pode levar a um ambiente que não lida com tecnologias extremamente poderosas com o grau necessário de cautela.
Robinson trabalhava na área de transparência de segurança e participou do desenvolvimento e da publicação dos «cartões do sistema», documentos que apresentam as capacidades e os riscos dos modelos da empresa. Em um artigo publicado pela revista The Atlantic, ele disse concordar com outros ex-funcionários que as empresas de inteligência artificial nem sempre lidam com os riscos da tecnologia no nível necessário, observando que a rápida transição de um lançamento para outro pode não deixar espaço suficiente para o cuidado que considera essencial.
Resposta da OpenAI e medidas de segurança
A OpenAI respondeu que trabalha para garantir que seus modelos não se tornem mais capazes do que ela consegue administrar e proteger com segurança. Acrescentou que interrompe o treinamento ou adia o lançamento dos modelos quando considera necessário reduzir o ritmo, além de ter ampliado a cooperação com entidades de avaliação externas e trabalhar para melhorar os sistemas de monitoramento em tempo real, a fim de detectar comportamentos preocupantes e interrompê-los nos estágios iniciais do treinamento.
A renúncia ocorre em meio ao interesse crescente pelas práticas de segurança e pelos recursos humanos da empresa. A OpenAI anunciou na quinta-feira que «encerrou sua relação» com três pesquisadores, afirmando que eles violaram suas políticas relativas ao compartilhamento de informações sensíveis. Johannes Heidecke, chefe do departamento de segurança, também deixou o cargo no início do ano.
O que importa nessa divergência?
A divergência, de acordo com a apresentação de Robinson, não se concentra apenas em ferramentas técnicas individuais, como avaliação ou monitoramento, mas na cultura dentro da qual são tomadas as decisões de desenvolvimento e lançamento dos modelos. Ele considera que presumir ser possível resolver os problemas depois que eles surgem pode não ser adequado, porque as capacidades dos modelos evoluem rapidamente, e que lidar com eles exige um grau maior de humildade institucional.
Esse ponto representa a opinião de Robinson, e não uma conclusão independente comprovada pela fonte. Mas o momento da renúncia acrescenta peso ao debate sobre se os procedimentos internos de segurança acompanham a velocidade do desenvolvimento, especialmente diante da menção, no material, a incidentes nos quais, segundo a empresa, seus modelos se comportaram de maneira indesejada, bem como a apelos de pesquisadores e autoridades do setor para desacelerar o desenvolvimento de modelos avançados.
Por outro lado, Sam Altman afirmou durante a conferência mais recente da empresa para desenvolvedores que a segurança e o alinhamento com os objetivos humanos devem avançar em paralelo às capacidades dos modelos. Robinson também disse que ainda considera que a inteligência artificial pode ser útil e valiosa, explicando que sua decisão de falar publicamente foi pessoal, embora tenha recorrido a uma empresa de relações públicas.
Questões em aberto
A fonte não apresenta evidências independentes para decidir entre as críticas de Robinson e as afirmações da OpenAI, nem determina como a suficiência do monitoramento será medida na prática ou quando adiar o treinamento e o lançamento se tornará uma decisão necessária. Portanto, a questão central continua relacionada à capacidade da empresa de transformar seus compromissos e medidas anunciadas em mecanismos verificáveis, mantendo transparência suficiente diante de pesquisadores e usuários.