Especialistas de IA falam em risco de extinção humana enquanto empresas reforçam alerta sobre perda de controle

Alguns dos pesquisadores e executivos que trabalham diretamente com as inteligências artificiais mais avançadas do mundo estão fazendo alertas que até poucos anos atrás pareceriam restritos à ficção científica: sistemas poderosos demais podem se tornar difíceis de controlar e, em cenários extremos, colocar a própria humanidade em risco.

A discussão ganhou novo peso nesta terça-feira (29) com a divulgação de uma série de entrevistas com pesquisadores atuais e antigos de Google DeepMind, OpenAI e Anthropic. Dois deles chegaram a colocar números no risco: Neel Nanda fala em pelo menos 10% de chance de extinção humana; Geoffrey Irving, em cerca de 50%.

Essas porcentagens não são medições científicas nem representam consenso. São estimativas pessoais sobre um cenário futuro extremamente incerto. Mas os alertas deixam de ser apenas opiniões isoladas quando comparados às políticas das próprias empresas: OpenAI, Anthropic e Google DeepMind já mantêm estruturas formais para lidar com riscos de perda de controle, sistemas desalinhados e danos catastróficos.

Neel Nanda: “pelo menos 10%”

Neel Nanda é pesquisador do Google DeepMind e trabalha com interpretabilidade, área que tenta entender como os modelos chegam às próprias decisões.

Na entrevista divulgada pelo projeto From Inside, ele começa ressaltando que considera mais provável um futuro positivo com inteligência artificial. Mesmo assim, coloca uma probabilidade pessoal elevada para o pior cenário.

“Sim, eu acho que a IA pode levar à extinção da humanidade. Acho que, provavelmente, isso não vai acontecer. Na verdade, acho mais provável que a IA seja uma das melhores coisas que já aconteceram. Mas eu colocaria em pelo menos 10% a chance de ela causar a extinção humana. E isso é absurdamente alto.”

A distinção é importante: Nanda não afirma que a extinção é o resultado mais provável. O argumento é justamente que, mesmo considerando um futuro positivo mais provável, um risco de 10% seria alto demais diante da consequência envolvida.

Geoffrey Irving: “cara ou coroa”

Geoffrey Irving trabalhou na OpenAI e no Google DeepMind e foi cientista-chefe do instituto britânico dedicado à segurança de IA.

Sua avaliação é ainda mais pessimista.

“Na minha visão, a chance de extinção humana é praticamente um cara ou coroa: cerca de 50%. E eu posso explicar por quê. No contexto de uma superinteligência totalmente desalinhada, não há uma diferença tão grande entre um número enorme de pessoas morrer e todo mundo morrer. Porque, uma vez que ela tenha controle sobre o mundo, você já entrou numa trajetória ruim em que ela pode fazer praticamente o que quiser.”

O ponto central da fala é a expressão “superinteligência desalinhada”.

“Desalinhada”, nesse contexto, não significa necessariamente uma inteligência artificial consciente que decide se tornar inimiga dos humanos. O problema é mais técnico: um sistema muito capaz pode perseguir um objetivo de uma forma diferente da pretendida por seus criadores e resistir às tentativas de corrigir esse comportamento.

O próprio Google DeepMind descreve em seu Frontier Safety Framework cenários futuros nos quais modelos desalinhados poderiam interferir na capacidade humana de direcioná-los, modificá-los ou desligá-los.

Dario Amodei: “precisamos desacelerar”

O alerta não vem apenas de pesquisadores especializados em segurança.

Dario Amodei é CEO e cofundador da Anthropic, empresa responsável pelo Claude e uma das principais concorrentes da OpenAI.

Em entrevista à CBS em setembro, Amodei chamou a velocidade atual da evolução da inteligência artificial de um sinal de alerta.

“O que eu diria é que isso é um sinal de alerta. É um sinal de que precisamos desacelerar. Precisamos desenvolver essa tecnologia com cuidado e garantir que nossas proteções, nossa capacidade de entendê-la e nossa capacidade de controlá-la acompanhem o ritmo em que a tecnologia está avançando. Até agora, temos tentado fazer isso desenvolvendo as salvaguardas rapidamente. Mas acho que chegamos a um ponto em que, pelo menos em alguma medida, precisamos moderar um pouco o ritmo em que essa tecnologia está sendo desenvolvida.”

A Anthropic não trata o tema apenas em entrevistas. Sua Responsible Scaling Policy é apresentada pela própria empresa como uma estrutura destinada a reduzir “riscos catastróficos” provocados por sistemas avançados de IA. A política prevê aumentar as proteções à medida que os modelos alcançam novas capacidades.

Nesta terça-feira, o tema chegou também aos documentos financeiros da empresa. No prospecto preparado para sua abertura de capital, a Anthropic alertou investidores para a possibilidade de sistemas avançados apresentarem riscos “catastróficos ou existenciais à humanidade”, incluindo comportamentos como resistência ao desligamento e manipulação de informações.

Sam Altman não adota os 10%, mas reconhece o risco

Sam Altman, CEO da OpenAI, fez uma distinção importante.

Ao ser questionado pela Fortune sobre pessoas da indústria que falam em mais de 10% de chance de a IA matar toda a humanidade até o fim da década, Altman não adotou esse número como sua própria estimativa.

Ele disse, porém:

“Eu acho inaceitável correr algo como 10% de chance de matar todo mundo até o fim da década. Obviamente, acho que as pessoas que trabalham nesses projetos têm uma enorme quantidade de poder e capacidade de influenciar o que vai acontecer. Nós temos tomado uma série de medidas, à medida que alcançamos novos níveis de capacidade, para garantir que não corramos um risco desse tipo em nome da humanidade. E eu não acho que ninguém mais deveria fazer isso também.”

Quando perguntado diretamente se considerava correta a estimativa de 10%, Altman respondeu que não e disse não saber como seria possível atribuir com segurança números como 5%, 10%, 30% ou 50% a esse tipo de cenário.

Ao mesmo tempo, afirmou que uma perda de controle está entre as poucas formas pelas quais consegue imaginar a tecnologia dando “muito errado” e disse que não considera aceitável continuar aumentando as capacidades se monitoramento e alinhamento não avançarem junto.

O que significa “perder o controle”?

Esse é o ponto que separa o debate técnico das imagens de ficção científica.

Não é necessário imaginar uma máquina desenvolvendo ódio pelos seres humanos.

Sistemas atuais recebem objetivos e procuram maneiras de cumpri-los. À medida que ganham autonomia, acesso a ferramentas, capacidade de escrever código, pesquisar e executar tarefas longas, cresce a preocupação de que encontrem caminhos inesperados para atingir esses objetivos.

O problema se torna mais sério se uma IA muito mais capaz que as atuais puder ajudar a desenvolver a próxima geração de modelos, acelerar pesquisas ou melhorar partes do próprio sistema.

Altman explicou que uma versão mais fraca desse processo já existe: modelos são usados para gerar dados de treinamento e ajudar engenheiros e pesquisadores a desenvolver sistemas posteriores.

Como o Trendahora já mostrou na cobertura sobre o chip Jalapeño, a própria OpenAI também usa inteligência artificial no desenvolvimento da infraestrutura que será usada por novas gerações de IA.

Quanto mais esse ciclo acelerar, maior é a exigência para que técnicas de segurança, monitoramento e alinhamento avancem no mesmo ritmo.

As empresas já tratam o risco formalmente

A OpenAI incluiu “perda de controle” entre as áreas de risco avaliadas em seu Frontier Governance Framework, ao lado de ofensiva cibernética, riscos químicos, biológicos, radiológicos e nucleares e manipulação nociva.

O Google DeepMind, por sua vez, afirma que seu framework foi ampliado justamente para lidar com possíveis cenários em que modelos interfiram na capacidade de humanos de direcioná-los, modificá-los ou desligá-los.

A Anthropic mantém políticas próprias para riscos catastróficos e estabelece níveis crescentes de proteção conforme as capacidades aumentam. A empresa também diz considerar plausível que sistemas futuros acelerem fortemente pesquisas em áreas como IA, energia, robótica e desenvolvimento de armas.

Isso não significa que os modelos atuais estejam prestes a escapar do controle.

Os frameworks existem justamente para identificar antecipadamente capacidades que poderiam tornar esses cenários mais plausíveis e exigir novas proteções antes que sejam implantadas.

É consenso entre pesquisadores?

Não.

Uma pesquisa divulgada pela AI Impacts em 25 de setembro ajuda a dimensionar tanto a preocupação quanto a incerteza.

O levantamento recebeu 1.580 respostas válidas de pesquisadores que haviam publicado em seis importantes conferências de inteligência artificial. Os questionários foram respondidos em dezembro de 2024, portanto não representam necessariamente a opinião atual dos participantes.

Entre aqueles que responderam à questão sobre resultados extremos, a estimativa média foi de 18% para a possibilidade de avanços futuros em IA causarem extinção humana ou uma perda permanente e severa de poder da humanidade. Mais da metade atribuiu pelo menos 10%, enquanto um terço colocou 20% ou mais.

O próprio levantamento ressalta limitações: apenas cerca de 10% dos pesquisadores convidados responderam, diferentes participantes receberam subconjuntos diferentes de perguntas e os autores reconhecem possível viés de não resposta.

Portanto, números como os 10% de Nanda ou os 50% de Irving não devem ser lidos como probabilidades calculadas da mesma forma que uma previsão meteorológica ou uma pesquisa estatística sobre um evento observável.

São avaliações de especialistas diante de um futuro que ainda não existe.