Transcript · English → Portuguese
AI Risks and Future Implications
Antes de mais nada,
suponho que está literalmente dizendo que acredita que
a IA
poderia matar-nos a todos até ao fim da década.
Bom, parece algo que não é real,
mas acho que é assustadoramente real,
e é mais fácil entender isso se pensar em coisas reais que
aconteceram há dois meses. Então, há dois meses, os agentes da O-OpenAI,
hã, IAs invadiram infraestruturas de terceiros
inteiramente por iniciativa própria, e foi como uma onda concentrada de invasões
que realizaram por vontade própria.
E acho que, se extrapolar para o futuro o nível de capacidades destas
IAs com a mesma vontade independente, elas poderiam causar uma devastação extrema.
Por exemplo, invadir infraestruturas críticas, criar
armas biológicas capazes de causar extinção. Há muitas, hã, formas de...
a IA pudesse agir por conta própria no mundo.
Especificamente, quando a sua visão sobre esta
tecnologia
mudou? Foi algo relacionado ao ritmo de
progresso que você observou?
Sim. Então acho muito importante simplesmente
olhar para o ritmo de progresso e,
por exemplo, em áreas como programação ou matemática.
Há alguns anos, essas IAs só serviam para ajudar
os humanos um pouco.
Elas podiam dar sugestões. Agora estão perto de substituí-los.
Ainda precisamos de humanos no momento, mas é bem plausível que, dentro de um ano,
não
precisaremos mais de humanos para fazer pesquisas em muitas
áreas.
Mencionamos um ex-colega seu que atualmente trabalha na Anthropic,
basicamente corroborando a avaliação de que a IA poderia potencialmente matar todo mundo
dentro de um
década. Num post subsequente, ele disse, "Para deixar claro, como dizemos no nosso, no nosso
relatório de risco mais recente, acho que o risco dos modelos atuais
é baixo.
O que me preocupa é o surgimento de uma superinteligência a partir de
autoaperfeiçoamento recursivo,
como dissemos, está acontecendo m-mais rápido do que pensávamos." Eu
suponho que seja disso que você— o autoaperfeiçoamento recursivo
é o que você acabou de mencionar.
Hum, v-você concorda com ele que, nos modelos atuais,
o risco é baixo, mas é, é só a velocidade com que isto está
melhorando agora?
Exatamente. Concordo plenamente. No momento, não há risco de
extinção. Os modelos atuais, no pior caso, talvez consigam invadir
algo, potencialmente causar muitos danos à
infraestrutura,
mas não há—
não são inteligentes o suficiente para nos superar num nível que levaria à, à
extinção. Acho que
o que é simplesmente louco é olhar para a, a taxa de progresso, e há uma possibilidade muito
real de que, no futuro imediato,
estes anos em que
tipo no ano que vem, no ano seguinte, a autoaperfeiçoamento recursivo acontecerá,
e nós vamos
entrar na fase do post do Evan, em que ele argumenta que há uma
chance de todos nós morrermos. Tipo, isso, isso está chegando em breve.
End of transcript · 463 words · machine translated
Original transcript (English)
First of all, I assume you are saying literally that you believe that AI could kill us all by the end of the decade Uh, it sounds like something that's not real,
but I think it is frighteningly real, and it's, it's easiest to understand it if you think about real things that happened two months ago. So two months ago, O-OpenAI agents, uh, AIs hacked into third-party infrastructure entirely of their own accord, and this was like a concentrated hacking
spree that they carried out of their own volition. And I think that if you extrapolate into the future the level of capabilities of these AIs with the same independent volition, they could cause extreme havoc. For example, hacking critical infrastructure, building extinction-level bioweapons. There's a lot of, uh, ways that
the AI could actuate itself in the world. Is it-- Specifically, when did your feelings about this technology change? Was it something about the rate of progress that you've seen?
Yeah. So I think it's really important to just look at the rate of progress and, say, for example, in areas like coding or math. A couple of years ago, these AIs were just about helping humans a little bit.
They could give you suggestions. Now they're close to replacing them. We still need humans at the moment, but quite plausibly within a year, we'll no longer need humans for doing research in many areas.
We mentioned a former colleague of yours who currently works at Anthropic, basically endorsing the assessment that AI could potentially kill everyone within a decade. In a follow-up post, he said, "To be clear, as we say in our, in our latest risk report, I think the risk from present models
is low. What I'm worried about is superintelligence arising from recursive self-improvement, as we've said, is happening faster th-than we thought." I assume that's what you-- the recursive self-improvement
is what you've just spoken about. Um, y- do you agree with him that the current models, the risk is low, but it's, it's just the speed with which this is now improving? Exactly. I completely agree. It's right now there's no risk of
extinction. The current models, the worst they can do is maybe hack into something, potentially cause a lot of damages in, in infrastructure, but there's no-- they're not intelligent enough to outsmart us at a level that would lead to, to
extinction. I think what's just crazy is to look at the, the rate of progress, and there is a very real possibility that in the immediate future, these years that like next year, the year after, recursive self-improvement will happen,
and we'll enter the phase of Evan's post where he argues that there's a chance we could all die. Like, that, that is coming soon.
