Transcript · English → Portuguese
AI Risks and Future Implications
Jacob, agradeço a você, por estar conosco.
Hum, antes de tudo, p- presumo que você esteja dizendo literalmente
que acredita, ahn, que a IA
poderia matar todos nós até o fim da década.
Como isso aconteceria? Tipo, como isso seria na prática?
Sim. Então, o cenário exato parece um pouco
ficção científica.
Ahn, parece algo que não é real,
mas acho que é assustadoramente real,
e é mais fácil entendê-lo se você pensar em coisas reais que
aconteceram há dois meses. Então, há dois meses, agentes da O- OpenAI,
ahn, IAs, invadiram infraestrutura de terceiros
inteiramente por iniciativa própria, e foi, tipo,
uma onda concentrada de invasões
que realizaram por vontade própria.
E acho que, se você extrapolar para o futuro o nível das capacidades de
essas IAs com a mesma vontade independente poderiam causar estragos extremos.
Por exemplo, invadir infraestruturas críticas, criar
armas biológicas capazes de causar extinção. Há muitas, hã, formas de
a IA agir por conta própria no mundo.
E- isso... Mais especificamente, quando seus sentimentos em relação a essa
tecnologia
mudaram? Foi algo relacionado ao ritmo do
progresso que você viu?
Sim. Então, acho muito importante apenas
observar o ritmo do progresso e,
por exemplo, em áreas como programação ou matemática, há alguns anos, essas IAs
só ajudavam um pouco os humanos. Elas podiam dar sugestões.
Agora, estão perto de substituí-los.
Ainda precisamos de humanos no momento, mas é bastante plausível que, dentro de um ano, não
precisemos mais de humanos para fazer pesquisas em muitas áreas.
Só na terça-feira, a OpenAI resolveu um problema do milênio,
um dos maiores
problemas em aberto não resolvidos da matemática, de forma totalmente autônoma usando uma IA.
E acho que o mais assustador é se a IA for usada para se tornar mais inteligente.
Então, você pode pegar uma IA e dar a ela o problema da pesquisa em IA.
Assim como atualmente deram a ela pesquisa matemática, você poderia fazer com que ela realizasse as tarefas
que estamos fazendo atualmente, e então ocorre o que se chama de uma
explosão de
inteligência. A IA simplesmente fica cada vez mais inteligente, sem qualquer envolvimento humano
necessário. E então você tem algo que é muito mais inteligente do que os humanos,
e isso pode estar chegando muito em breve.
V- mencionamos um ex-colega seu
que atualmente trabalha na Anthropic,
basicamente endossando a avaliação de que a IA poderia potencialmente matar todos
dentro de um
década. Numa publicação posterior, disse, "Para que fique claro, como dizemos no nosso, no nosso
mais recente relatório de riscos, acho que o risco dos modelos atuais
é baixo.
O que me preocupa é o surgimento de superinteligência através de
autoaperfeiçoamento
recursivo, como dissemos, que está a acontecer mais depressa do que,
do que pensávamos." Eu
suponho que é disso que acabou de falar— o autoaperfeiçoamento recursivo
é aquilo de que acabou de falar
agora. Hum, s-
Exatamente
concorda com ele que o risco dos modelos atuais é baixo,
mas
que é apenas a velocidade a que isto está agora a melhorar?
Exatamente. Concordo plenamente. Neste momento, não há risco de extinção.
Os modelos atuais, o pior que podem fazer
é talvez invadir algo,
potencialmente causar muitos danos nas infraestruturas.
Mas não há— não são suficientemente inteligentes para ludibriar
nós a um nível que
levaria à, à extinção. Acho que
o que é simplesmente louco é olhar para a velocidade do progresso, e há uma possibilidade
muito real de que, no futuro imediato, nestes anos,
como no ano que vem, no ano seguinte, a autoaperfeiçoamento recursivo acontecerá
e nós
entraremos na fase da publicação do Evan, em que ele argumenta que há uma
chance de todos nós morrermos. Tipo, isso, isso está chegando em breve.
Sabe, muitos dos, destes, uh, CEOs dessas empresas vão, sabe,
vão
ao Congresso e dizem: "Ei, adoraríamos regulamentação." A- A Anthropic
em sua nova declaração agora diz: "O mundo se beneficiaria se o setor
adotasse uma forma legal e verificável de trabalhar em conjunto para definir o ritmo
de como lançamos
modelos poderosos." Hum, sabe o argumento, é, é uma corrida armamentista
corrida. Se uma empresa americana— Se uma empresa americana não o fizer, ah,
alcançar a melhor
IA, uma empresa chinesa ou alguns maus agentes por aí poderiam conseguir.
Você acredita que, ah, essas empresas
realmente querem regulamentação, ou é só da boca
para fora?
Elas, elas querem mesmo. Isto é totalmente sincero.
Assim como a reação à publicação do Evan
foi meio de surpresa, foi
tipo: "Isso não pode ser real. Um cara trabalhando nessa tecnologia certamente
não pode realmente
acreditar que há esse nível de perigo." Não, isso é totalmente genuíno, e essas
pessoas também são totalmente genuínas quando imploram para serem regulamentadas.
Isto é
genuíno… Elas, elas se encontram neste cenário
em que são compelidas a
correr para criar uma tecnologia mortal, e elas fariam isso,
adorariam que algum tipo de organismo internacional lhes permitisse
de, de se aproximarem disso num ritmo razoável.
Só não confiam em que as pessoas ao redor delas
vão chegar lá de forma segura,
por isso sentem que também precisam correr para lá
também.
V-você poderia ter ficado calada. Quer dizer, você tinha, tenho certeza, um ótimo emprego e era
paga, imagino, muito bem. Você obviamente é incrivelmente inteligente,
uma matemática.
Hum,
por que decidiu se manifestar?
Bem, inicialmente decidi simplesmente sair.
Pensei, "Não posso mais fazer parte disso."
Mas então, ah,
percebi que provavelmente poderia fazer algum uso disso.
Não esperava que isso viralizasse tanto.
Então, o que fiz foi publicar uma thread no Twitter. Eu a escrevi num Google Doc.
Preparei o rascunho com uma amiga. Nós, nós colaboramos.
Sim, eu tinha alguns, hum, havia alguns amigos com quem discuti, hum,
a melhor forma de me expressar, hum, depois que decidi, decidi sair.
Hum, e também pedi a alguns amigos para retuitarem a publicação.
Eu disse: "Vamos tentar e viralizar isso um pouco." Mas, claramente,
havia uma demanda latente
para que isso explodisse completamente.
Tipo, hum, eu— eu nunca vi um tweet sobre segurança de IA ficar
tão louco. Acho que é porque as pessoas viram os, hum,
ciberataques nos últimos
dois meses. Eles também estão começando a assimilar o
ritmo do progresso.
As pessoas estão começando a perceber que isto é tecnologia real. Isto não é, tipo,
exagero.
Isto não vai desaparecer tão cedo. Isto só vai ficar mais louco.
Tem ficado mais louco nos últimos seis meses, e acho que houve aquele
uma compreensão latente da gravidade da situação que fez com que isto
fosse tipo
uma espécie de, de fósforo que acendeu uma espécie de, uma chama.
Tipo, para mim foi muito chocante ver o quanto
rapidamente isso viralizou.
Jacob, ah, Coxon, agradeço muito por, ah, ter vindo conversar conosco.
Muito obrigado.
Obrigado.
End of transcript · 1,131 words · machine translated
Original transcript (English)
Jacob, I appreciate you, you being with us. Um, first of all, w- I assume you are saying literally that you believe, uh, that AI could kill us all by the end of the decade. How would that happen? Like, what would that actually look like?
Yeah. So the precise scenario sounds a little bit like science fiction. Uh, it sounds like something that's not real, but I think it is frighteningly real, and it's, it's easiest to understand it if you think about real things that
happened two months ago. So two months ago, O- OpenAI agents, uh, AIs, hacked into third-party infrastructure entirely of their own accord, and this was, like, a concentrated hacking spree that they carried out of their own volition.
And I think that if you extrapolate into the future the level of capabilities of these AIs with the same independent volition, they could cause extreme havoc. For example, hacking critical infrastructure, building extinction-level bioweapons. There's a lot of, uh, ways that the AI could actuate itself in the world.
I- is it... Specifically, when did your feelings about this technology change? Was it something about the rate of progress that you've seen? Yeah. So I think it's really important to just
look at the rate of progress and, say, for example, in areas like coding or math, a couple of years ago, these AIs were just about helping humans a little bit. They could give you suggestions. Now they're close to replacing them. We still need humans at the moment, but quite plausibly within a year we'll no
longer need humans for doing research in many areas. Only on Tuesday, OpenAI solved a millennium problem, one of the biggest unsolved open problems in mathematics, purely autonomously using an AI. And I think what's most scary is if AI is used to make itself more intelligent.
So you can take an AI and give it the problem of AI research. Just like currently they've given it math research, you could make it do the tasks that we're currently doing, and then you get what's called an intelligence explosion. The AI just gets smarter and smarter with no human involvement
necessary. And so you have a thing that is vastly smarter than, than humans, and this could be coming very soon. Y- we mentioned a former colleague of yours who currently works at Anthropic, basically endorsing the assessment that AI could potentially kill everyone
within a decade. In a follow-up post, he said, "To be clear, as we say in our, in our latest risk report, I think the risk from present models is low. What I'm worried about is superintelligence arising from
recursive self-improvement, as we've said, is happening faster than, than we thought." I assume that's what you-- The recursive self-improvement is what you've just spoken
about. Um, y- Exactly ... do you agree with him that the current models, the risk is low, but it's, it's just the speed with which this is now improving?
Exactly. I completely agree. It's, right now there's no risk of extinction. The current models, the worst they can do is maybe hack into something, potentially cause a lot of damages in, in infrastructure. But there's no-- They're not intelligent enough to outsmart
us at a level that would lead to, to extinction. I think what's just crazy is to look at the, the rate of progress, and there is a very real possibility that in the immediate future, these years, like next year, the year after, recursive self-improvement will happen
and we'll enter the phase of Evan's post where he argues that there's a chance we could all die. Like, that, that is coming soon. You know, a lot of the, these, uh, CEOs of these companies will, you know, will
go to Congress and say, "Hey, we would love regulation." A- Anthropic in their new statement right now says, "The world would benefit from the industry adopting a lawful, verifiable way to work together to pace how we release powerful models." Um, you know the argument, it's, it's an arms
race. If the US com-- If a US company doesn't, uh, achieve the best AI, a Chinese company or some bad actors out there might. Do you believe that, uh, that these companies actually do want regulation, or is it lip
service? They, they completely do. This is completely honest. Just in the same way that the response to Evan's post was sort of surprise, it was like, "This can't be real. Surely a guy working on this technology
can't actually believe there's this level of danger." No, that's completely genuine, and these people are also completely genuine when they are begging to be regulated. This is a genuine... They, they find themselves in this scenario
where they're compelled to race towards building a deadly technology, and they would, they would love for some sort of international body to allow them to, to approach it at a reasonable pace. They just don't trust that the people around them
are gonna get there in a safe way, so they feel like they have to race there too. Y- you could have stayed quiet. I mean, you, I'm sure you had a great job, being paid, I imagine, very well. You're obviously incredibly smart,
a mathematician. Um, why did you decide to speak out? Well, I initially just decided to leave. I thought, "I can't be part of this anymore."
But then I, uh, I realized I could probably make some use of it. I did not expect it to go this viral. So what I did is I wrote a Twitter thread out. I wrote it in a Google Doc. I drafted it with a friend. We, we collaborated.
Yeah, I had a few, uh, there were a few friends I discussed, uh, the best way of expressing myself with, um, after I decided to, decided to leave. Uh, and then I also got some friends to, to retweet the thing. I was like, "Let's try and make this a bit viral." But clearly, there was latent
demand for this thing to absolutely explode. Like, uh, I- I've never seen an AI safety tweet go this crazy. I think it's because people saw the, uh, the cyberattacks in the last couple of months. They're also starting to internalize the
rate of progress. People are starting to realize this is real technology. This is not, like, hype. This isn't going away anytime soon. This is only gonna get more crazy. It's been getting crazier for the last six months, and I think there was that
latent understanding of the severity of the situation that meant that this was like a sort of a, a match that lit kind of a, a flame. Like, I was very shocked by the extent that how quickly it went viral.
Jacob, uh, Coxon, I really appreciate you, uh, coming on and talking to us. Thank you so much. Thanks.
