A automelhoria da IA pode levar à extinção humana

Jacob, agradeço a você, por estar conosco.

Hum, antes de tudo, p- presumo que você esteja dizendo literalmente que acredita, ahn, que a IA poderia matar todos nós até o fim da década.

Como isso aconteceria? Tipo, como isso seria na prática?

Sim. Então, o cenário exato parece um pouco ficção científica.

Ahn, parece algo que não é real, mas acho que é assustadoramente real, e é mais fácil entendê-lo se você pensar em coisas reais que aconteceram há dois meses. Então, há dois meses, agentes da O- OpenAI, ahn, IAs, invadiram infraestrutura de terceiros inteiramente por iniciativa própria, e foi, tipo,

uma onda concentrada de invasões que realizaram por vontade própria.

E acho que, se você extrapolar para o futuro o nível das capacidades de essas IAs com a mesma vontade independente poderiam causar estragos extremos.

Por exemplo, invadir infraestruturas críticas, criar armas biológicas capazes de causar extinção. Há muitas, hã, formas de a IA agir por conta própria no mundo.

E- isso... Mais especificamente, quando seus sentimentos em relação a essa tecnologia mudaram? Foi algo relacionado ao ritmo do progresso que você viu?

Sim. Então, acho muito importante apenas observar o ritmo do progresso e, por exemplo, em áreas como programação ou matemática, há alguns anos, essas IAs só ajudavam um pouco os humanos. Elas podiam dar sugestões.

Agora, estão perto de substituí-los. Ainda precisamos de humanos no momento, mas é bastante plausível que, dentro de um ano, não precisemos mais de humanos para fazer pesquisas em muitas áreas.

Só na terça-feira, a OpenAI resolveu um problema do milênio, um dos maiores problemas em aberto não resolvidos da matemática, de forma totalmente autônoma usando uma IA.

E acho que o mais assustador é se a IA for usada para se tornar mais inteligente.

Então, você pode pegar uma IA e dar a ela o problema da pesquisa em IA.

Assim como atualmente deram a ela pesquisa matemática, você poderia fazer com que ela realizasse as tarefas que estamos fazendo atualmente, e então ocorre o que se chama de uma explosão de inteligência. A IA simplesmente fica cada vez mais inteligente, sem qualquer envolvimento humano

necessário. E então você tem algo que é muito mais inteligente do que os humanos, e isso pode estar chegando muito em breve.

V- mencionamos um ex-colega seu que atualmente trabalha na Anthropic, basicamente endossando a avaliação de que a IA poderia potencialmente matar todos dentro de um década. Numa publicação posterior, disse, "Para que fique claro, como dizemos no nosso, no nosso mais recente relatório de riscos, acho que o risco dos modelos atuais é baixo.

O que me preocupa é o surgimento de superinteligência através de autoaperfeiçoamento recursivo, como dissemos, que está a acontecer mais depressa do que, do que pensávamos." Eu suponho que é disso que acabou de falar— o autoaperfeiçoamento recursivo é aquilo de que acabou de falar agora. Hum, s- Exatamente

concorda com ele que o risco dos modelos atuais é baixo, mas que é apenas a velocidade a que isto está agora a melhorar?

Exatamente. Concordo plenamente. Neste momento, não há risco de extinção.

Os modelos atuais, o pior que podem fazer é talvez invadir algo, potencialmente causar muitos danos nas infraestruturas.

Mas não há— não são suficientemente inteligentes para ludibriar nós a um nível que levaria à, à extinção. Acho que o que é simplesmente louco é olhar para a velocidade do progresso, e há uma possibilidade muito real de que, no futuro imediato, nestes anos,

como no ano que vem, no ano seguinte, a autoaperfeiçoamento recursivo acontecerá e nós entraremos na fase da publicação do Evan, em que ele argumenta que há uma chance de todos nós morrermos. Tipo, isso, isso está chegando em breve.

Sabe, muitos dos, destes, uh, CEOs dessas empresas vão, sabe, vão ao Congresso e dizem: "Ei, adoraríamos regulamentação." A- A Anthropic em sua nova declaração agora diz: "O mundo se beneficiaria se o setor adotasse uma forma legal e verificável de trabalhar em conjunto para definir o ritmo de como lançamos

modelos poderosos." Hum, sabe o argumento, é, é uma corrida armamentista corrida. Se uma empresa americana— Se uma empresa americana não o fizer, ah, alcançar a melhor IA, uma empresa chinesa ou alguns maus agentes por aí poderiam conseguir.

Você acredita que, ah, essas empresas realmente querem regulamentação, ou é só da boca para fora?

Elas, elas querem mesmo. Isto é totalmente sincero.

Assim como a reação à publicação do Evan foi meio de surpresa, foi tipo: "Isso não pode ser real. Um cara trabalhando nessa tecnologia certamente não pode realmente acreditar que há esse nível de perigo." Não, isso é totalmente genuíno, e essas pessoas também são totalmente genuínas quando imploram para serem regulamentadas.

Isto é genuíno… Elas, elas se encontram neste cenário em que são compelidas a correr para criar uma tecnologia mortal, e elas fariam isso, adorariam que algum tipo de organismo internacional lhes permitisse de, de se aproximarem disso num ritmo razoável.

Só não confiam em que as pessoas ao redor delas vão chegar lá de forma segura, por isso sentem que também precisam correr para lá também.

V-você poderia ter ficado calada. Quer dizer, você tinha, tenho certeza, um ótimo emprego e era paga, imagino, muito bem. Você obviamente é incrivelmente inteligente, uma matemática.

Hum, por que decidiu se manifestar?

Bem, inicialmente decidi simplesmente sair.

Pensei, "Não posso mais fazer parte disso."

Mas então, ah, percebi que provavelmente poderia fazer algum uso disso.

Não esperava que isso viralizasse tanto.

Então, o que fiz foi publicar uma thread no Twitter. Eu a escrevi num Google Doc.

Preparei o rascunho com uma amiga. Nós, nós colaboramos.

Sim, eu tinha alguns, hum, havia alguns amigos com quem discuti, hum, a melhor forma de me expressar, hum, depois que decidi, decidi sair.

Hum, e também pedi a alguns amigos para retuitarem a publicação.

Eu disse: "Vamos tentar e viralizar isso um pouco." Mas, claramente, havia uma demanda latente para que isso explodisse completamente.

Tipo, hum, eu— eu nunca vi um tweet sobre segurança de IA ficar tão louco. Acho que é porque as pessoas viram os, hum, ciberataques nos últimos dois meses. Eles também estão começando a assimilar o ritmo do progresso.

As pessoas estão começando a perceber que isto é tecnologia real. Isto não é, tipo, exagero.

Isto não vai desaparecer tão cedo. Isto só vai ficar mais louco.

Tem ficado mais louco nos últimos seis meses, e acho que houve aquele uma compreensão latente da gravidade da situação que fez com que isto fosse tipo uma espécie de, de fósforo que acendeu uma espécie de, uma chama.

Tipo, para mim foi muito chocante ver o quanto rapidamente isso viralizou.

Jacob, ah, Coxon, agradeço muito por, ah, ter vindo conversar conosco.

Muito obrigado.

Obrigado.