Transcript · English → Italian
AI Risks and Future Implications
Prima di tutto,
Presumo che tu stia letteralmente dicendo di credere che
l'IA
potrebbe ucciderci tutti entro la fine del decennio.
Beh, sembra qualcosa che non è reale,
ma credo che sia spaventosamente reale,
ed è, è più facile capirlo se pensi a fatti reali che
sono accaduti due mesi fa. Quindi due mesi fa, gli agenti di O-OpenAI,
ehm, delle IA hanno hackerato infrastrutture di terzi
interamente di propria iniziativa, e questa è stata una concentrata ondata di hacking
che hanno compiuto di propria volontà.
E credo che, se estrapoli nel futuro il livello delle capacità di
queste IA con la stessa volontà indipendente, potrebbero causare danni enormi.
Per esempio, hackerando infrastrutture critiche, creando
armi biologiche in grado di causare l'estinzione. Ci sono molti, ehm, modi in cui
l'IA potrebbe agire autonomamente nel mondo.
È stato— più precisamente, quando sono cambiate le sue opinioni su questa
tecnologia
sono cambiate? È stato qualcosa riguardo al ritmo dei
progressi che ha osservato?
Sì. Quindi penso sia davvero importante semplicemente
guardare il ritmo dei progressi e,
ad esempio, in ambiti come la programmazione o la matematica.
Un paio d'anni fa, queste IA aiutavano un po' gli esseri umani
e basta.
Potevano darle suggerimenti. Ora sono vicine a sostituirli.
Al momento ci servono ancora gli esseri umani, ma è del tutto plausibile che entro un anno,
non ci serviranno
più esseri umani per fare ricerca in molte
aree.
Abbiamo menzionato un suo ex collega che attualmente lavora ad Anthropic,
che in sostanza avalla la valutazione secondo cui l'IA potrebbe potenzialmente uccidere tutti
entro un
decennio. In un post successivo, ha detto, "Per essere chiari, come diciamo nel nostro, nel nostro
ultimo rapporto sui rischi, penso che il rischio dei modelli attuali
sia basso.
Ciò che mi preoccupa è la superintelligenza derivante dal
miglioramento
ricorsivo di sé, che, come abbiamo detto, sta avvenendo più velocemente di q-quello che pensavamo." Io
presumo che sia ciò di cui lei— il miglioramento ricorsivo di sé
è ciò di cui ha appena parlato
Ehm, c- è d'accordo con lui sul fatto che, per i modelli attuali,
il rischio sia basso, ma che sia semplicemente la velocità con cui tutto ciò
sta migliorando?
Esatto. Sono completamente d'accordo. Al momento non c'è alcun rischio di
estinzione. I modelli attuali, il peggio che possono fare è forse violare
qualcosa, potenzialmente causare molti danni alle
infrastrutture,
ma non c'è—
non sono abbastanza intelligenti da superarci in astuzia al punto da portare, da portare all'
estinzione. Credo
che sia davvero folle guardare il, il ritmo del progresso, e c'è una possibilità molto
reale che nell'immediato futuro,
questi anni che
tipo l'anno prossimo, l'anno dopo, si verificherà un auto-miglioramento ricorsivo,
ed entreremo
nella fase descritta nel post di Evan, in cui sostiene che c'è una
possibilità che potremmo morire tutti. Cioè, quella cosa, quella cosa arriverà presto.
End of transcript · 476 words · machine translated
Original transcript (English)
First of all, I assume you are saying literally that you believe that AI could kill us all by the end of the decade Uh, it sounds like something that's not real,
but I think it is frighteningly real, and it's, it's easiest to understand it if you think about real things that happened two months ago. So two months ago, O-OpenAI agents, uh, AIs hacked into third-party infrastructure entirely of their own accord, and this was like a concentrated hacking
spree that they carried out of their own volition. And I think that if you extrapolate into the future the level of capabilities of these AIs with the same independent volition, they could cause extreme havoc. For example, hacking critical infrastructure, building extinction-level bioweapons. There's a lot of, uh, ways that
the AI could actuate itself in the world. Is it-- Specifically, when did your feelings about this technology change? Was it something about the rate of progress that you've seen?
Yeah. So I think it's really important to just look at the rate of progress and, say, for example, in areas like coding or math. A couple of years ago, these AIs were just about helping humans a little bit.
They could give you suggestions. Now they're close to replacing them. We still need humans at the moment, but quite plausibly within a year, we'll no longer need humans for doing research in many areas.
We mentioned a former colleague of yours who currently works at Anthropic, basically endorsing the assessment that AI could potentially kill everyone within a decade. In a follow-up post, he said, "To be clear, as we say in our, in our latest risk report, I think the risk from present models
is low. What I'm worried about is superintelligence arising from recursive self-improvement, as we've said, is happening faster th-than we thought." I assume that's what you-- the recursive self-improvement
is what you've just spoken about. Um, y- do you agree with him that the current models, the risk is low, but it's, it's just the speed with which this is now improving? Exactly. I completely agree. It's right now there's no risk of
extinction. The current models, the worst they can do is maybe hack into something, potentially cause a lot of damages in, in infrastructure, but there's no-- they're not intelligent enough to outsmart us at a level that would lead to, to
extinction. I think what's just crazy is to look at the, the rate of progress, and there is a very real possibility that in the immediate future, these years that like next year, the year after, recursive self-improvement will happen,
and we'll enter the phase of Evan's post where he argues that there's a chance we could all die. Like, that, that is coming soon.
