Transcript · English → Portuguese
AI Risks and Future Threats
Você acredita que a IA poderia nos matar a todos até
o fim da década. Como isso aconteceria?
Então, o cenário exato parece um pouco ficção científica.
Parece algo que não é real, mas acho que é assustadoramente real e
é mais fácil entendê-lo se você pensar em coisas reais
que aconteceram
dois meses atrás. Então, dois meses atrás, agentes da OpenAI, ah, IAs
invadiram infraestrutura de terceiros totalmente por conta própria e
foi como uma onda concentrada de invasões que realizaram por vontade própria.
E acho que, se você extrapolar para o futuro o
nível
das capacidades dessas IAs com a mesma autonomia própria, elas
poderiam causar estragos extremos. Por exemplo, invadir infraestrutura crítica,
criar armas biológicas de escala de extinção.
Há muitas, hum, maneiras pelas quais a IA poderia agir por conta própria no
mundo.
Então, acho muito importante observar o ritmo do progresso e, por
exemplo, áreas como programação ou matemática.
Há alguns anos, essas IAs só ajudavam um pouco os humanos.
Elas podiam dar sugestões. Agora estão perto de substituí-los.
Elas podiam dar sugestões. Agora estão perto de substituí-los.
Ainda precisamos de humanos no momento, mas, muito provavelmente, dentro de um ano,
não vamos mais
precisar de humanos para fazer pesquisas em muitas áreas.
Só na terça-feira, a OpenAI resolveu um problema do milênio,
um dos maiores
problemas em aberto não resolvidos da matemática, de forma totalmente autônoma, usando uma IA.
E acho que o mais assustador é se a IA for usada para se tornar mais
inteligente. Então, você pode pegar uma IA e dar a ela o problema da IA
pesquisa. Assim como atualmente, deram-lhe pesquisa em matemática.
Você poderia fazê-la executar as tarefas que estamos executando atualmente,
e então você obtém o que é
chamado de explosão de inteligência.
A IA simplesmente fica cada vez mais inteligente sem envolvimento humano
necessário.
E então você tem algo que é muito mais inteligente que os humanos,
e isso poderia estar
chegando muito em breve. Neste momento, não há risco de extinção.
Os modelos atuais, o pior que podem fazer
é talvez invadir alguma coisa,
potencialmente causar muitos danos na infraestrutura, mas não há—
eles não são inteligentes o suficiente para nos superar em um nível que levaria à, à
extinção. Acho que o mais louco é observar o ritmo do
progresso, e há uma possibilidade muito real de que, no
futuro imediato, estes anos em que, tipo, no próximo ano, no ano seguinte,
o autoaperfeiçoamento recursivo acontecerá, e entraremos na fase do post de Evan
em que ele argumenta que há uma chance de todos nós podermos morrer.
Tipo, isso, isso está chegando logo.
End of transcript · 445 words · machine translated
Original transcript (English)
You believe that AI could kill us all by the end of the decade. How would that happen? So the precise scenario sounds a little bit like science fiction. It sounds like something that's not real, but I think it is frighteningly real, and it's, it's easiest to understand it if you think about real things
that happened two months ago. So two months ago, OpenAI agents, uh, AIs hacked into third-party infrastructure entirely of their own accord, and this was like a concentrated hacking spree that they carried out of their own volition. And I think that if you extrapolate into the future the
level of capabilities of these AIs with the same independent volition, they could cause extreme havoc. For example, hacking critical infrastructure, building extinction-level bioweapons. There's a lot of, uh, ways that the AI could actuate itself in the
world. So I think it's really important to just look at the rate of progress and, say, for example, in areas like coding or math. A couple of years ago, these AIs were just about helping humans a little bit.
They could give you suggestions. Now they're close to replacing them. We still need humans at the moment, but quite plausibly, within a year, we'll no longer need humans for doing research in many areas. Only on Tuesday, OpenAI solved a millennium problem,
one of the biggest unsolved open problems in mathematics, purely autonomously using an AI. And I think what's most scary is if AI is used to make itself more intelligent. So you can take an AI and give it the problem of AI research. Just like currently, they've given it math research.
You could make it do the tasks that we're currently doing, and then you get what's called an intelligence explosion. The AI just gets smarter and smarter with no human involvement necessary.
And so you have a thing that is vastly smarter than humans, and this could be coming very soon. Right now, there's no risk of extinction. The current models, the worst they can do is maybe hack into something,
potentially cause a lot of damages in infrastructure, but there's no-- they're not intelligent enough to outsmart us at a level that would lead to, to extinction. I think what's just crazy is to look at the, the rate of progress, and there is a very real possibility that in the immediate future, these years that, like, next year, the year after,
recursive self-improvement will happen, and we'll enter the phase of Evan's post where he argues that there's a chance we could all die. Like, that, that is coming soon.
