Dentro do setor de inteligência artificial, intensificou-se um debate acalorado sobre a possibilidade de essa tecnologia se transformar em uma ameaça existencial à humanidade, depois que o pesquisador Jacob Coxon renunciou à Anthropic afirmando que via as maiores empresas de inteligência artificial «apostando nossas vidas». Depois disso, o responsável pelo alinhamento na Anthropic publicou uma mensagem dizendo que a empresa acredita seriamente que a inteligência artificial pode matar todos os humanos e estimou a probabilidade de isso ocorrer em mais de 10% na próxima década.
Esses acontecimentos foram o foco de um episódio do podcast Equity, da TechCrunch, com a participação de Kirsten Korosec, Sean O’Kane e Anthony Ha. O material, um trecho editado do debate, não apresenta uma estimativa científica independente da probabilidade de uma catástrofe, mas examina os motivos por trás dessa linguagem e seus efeitos sobre empresas, investidores e o público.
Um número alto sem metodologia divulgada
Anthony Ha questionou o uso da porcentagem de «mais de 10%», considerando que, pelo que ficou evidente no debate, ela não se baseia em um cálculo ou metodologia explicada. Os participantes relacionaram o número ao conceito de P(doom), uma expressão usada para descrever a probabilidade de ocorrer uma catástrofe associada à inteligência artificial. Porém, apresentar uma porcentagem específica não a transforma automaticamente em uma estimativa verificável, especialmente quando não são mencionadas as premissas ou os dados em que ela se baseou.
Por outro lado, Ha considerou que a renúncia de Coxon o coloca em uma posição diferente da de executivos e pesquisadores que alertam sobre os riscos da inteligência artificial enquanto continuam trabalhando em seu desenvolvimento. A decisão de abandonar sua trajetória profissional, conforme discutido pelos participantes, representa um ato coerente com sua convicção de que os riscos são extremos, mesmo que isso não comprove a validade de sua estimativa da ameaça.
Um alerta real ou uma demonstração de capacidades?
Kirsten Korosec levantou uma possibilidade mais cética: talvez os alertas recorrentes sobre agentes de inteligência artificial saírem de controle ou sobre seu risco para a humanidade também cumpram uma função de marketing indireta. Sugerir que o modelo é tão avançado a ponto de provocar medo também pode ser interpretado como uma declaração sobre sua capacidade e pode atender aos interesses das empresas que desenvolvem esses modelos, mesmo que as preocupações declaradas sejam sinceras.
Ha não reduziu essas declarações a uma campanha de marketing deliberada. Segundo sua interpretação, pesquisadores e diretores executivos podem ter preocupações reais, mas essas preocupações também se cruzam com um interesse comercial: apresentar a tecnologia como um dos softwares mais importantes, influentes e perigosos da história. Por isso, é difícil separar o alerta dos incentivos pessoais e institucionais que o cercam.
O problema do controle vai além do discurso catastrófico
Sean O’Kane observou que alguns acontecimentos recentes podem dar a impressão de que as empresas não têm controle total sobre seus sistemas. O debate citou o que foi descrito como uma invasão relacionada a um modelo interno da OpenAI e casos de agentes internos que acessaram sites wiki na web e deixaram mensagens uns para os outros, além do salto que os participantes consideraram ter surgido nas capacidades dos modelos da Anthropic e da OpenAI, incluindo o sistema Astra, lançado semanas antes da gravação do episódio.
Esses acontecimentos, conforme apresentados no episódio, não provam que a inteligência artificial seja capaz de exterminar a humanidade, mas levantam uma questão prática mais direta: as empresas conseguem testar, monitorar e conter de forma confiável o comportamento de seus agentes? Aqui está um ponto importante para o leitor técnico: a lacuna entre a capacidade do modelo e a capacidade da instituição de gerenciar seu comportamento pode ser mais observável do que as previsões distantes sobre inteligência artificial geral ou superinteligência.
O que isso pode significar para a abertura de capital da Anthropic?
O’Kane discutiu a possibilidade de essas declarações repercutirem no esperado documento de registro que a Anthropic deverá apresentar para abrir seu capital, conhecido como S-1, e em sua seção de fatores de risco. Os participantes questionaram se a empresa já havia incluído uma linguagem relacionada a esses riscos ou se foi obrigada a reformulá-la depois das declarações recentes. A fonte não apresentou uma resposta para isso, e o momento do registro ou da oferta também não foi definido no material.
A linguagem sobre risco existencial pode parecer negativa em um ambiente de investimento tradicional, mas Korosec levantou uma possibilidade oposta: alguns investidores podem interpretar as altas capacidades, e até mesmo elementos de risco, como prova do valor da empresa, em vez de considerá-los um fardo. Isso deixa a questão da avaliação em aberto até que os documentos efetivos da empresa apareçam, especialmente as divulgações sobre riscos e as premissas operacionais.
A leitura editorial
A importância do debate não está em comprovar a porcentagem de «mais de 10%», já que a fonte não oferece uma base para verificá-la, mas em revelar a tensão entre três narrativas simultâneas: empresas que dizem que o risco é extremo, empresas que continuam desenvolvendo modelos e promovendo suas capacidades e investidores que podem interpretar o próprio risco como um sinal de valor. Ha alerta que o foco em cenários de extinção pode deslocar danos mais próximos no tempo, como o impacto da inteligência artificial sobre empregos, o meio ambiente e o clima. Por outro lado, isso não elimina a necessidade de discutir riscos existenciais e garantias regulatórias, mas exige que eles sejam debatidos ao lado dos danos atuais e com evidências mais claras do que porcentagens não explicadas.
Vale observar que o episódio foi gravado antes de Dario Amodei, diretor executivo da Anthropic, publicar um plano para desenvolver a inteligência artificial com mais cautela; por isso, a fonte não aborda o conteúdo desse plano nem seu efeito sobre o debate.