Transcript · English → Spanish
AI Risks and Future Threats
Ante todo, s- supongo que estás diciendo literalmente que
crees que la IA
podría matarnos a todos antes de que acabe la década
Eh, suena a algo que no es real,
pero creo que da un miedo aterradoramente real,
y es, es más fácil entenderlo si piensas en cosas reales que
ocurrieron hace dos meses. Hace dos meses, l- los agentes de OpenAI,
eh, las IA, hackearon infraestructura de terceros
totalmente por iniciativa propia, y fue como
una oleada concentrada de hackeos
que llevaron a cabo por su propia voluntad.
Y creo que, si extrapolas al futuro el nivel de capacidades de
estas IA, con la misma voluntad independiente,
podrían causar estragos extremos.
Por ejemplo, hackear infraestructura crítica,
fabricar
armas biológicas capaces de causar extinción. Hay muchas, eh, maneras de que
la IA podría actuar por sí sola en el mundo.
Específicamente, ¿cuándo cambiaron tus sentimientos sobre esta
tecnología
tecnología
progreso que has visto?
Sí. Creo que es muy importante simplemente
observar el ritmo del progreso y,
por ejemplo, en áreas como la programación o las matemáticas.
Hace un par de años, estas IA apenas ayudaban un poco a los humanos.
Podían darte sugerencias. Ahora están cerca de reemplazarlos.
Podían darte sugerencias. Ahora están cerca de reemplazarlos.
Aún necesitamos humanos por el momento, pero es bastante plausible que en un año ya no
necesitemos humanos para investigar en muchas áreas.
Hemos mencionado a un excolega tuyo que actualmente trabaja en Anthropic
y que básicamente respalda la evaluación de que la IA podría matar potencialmente a todos
en el plazo de un
década. En una publicación posterior, dijo: "Para aclararlo, como decimos en nuestro, en nuestro
último informe de riesgos, creo que el riesgo de los modelos actuales
es bajo.
Lo que me preocupa es que surja una superinteligencia a partir de la
mejora recursiva
autónoma, como hemos dicho, está ocurriendo más rápido de lo que—
de lo que pensábamos". Supongo
que eso es de lo que tú— la mejora recursiva autónoma
es de lo que acabas de hablar.
Eh, ¿estás de acuerdo con él en que el riesgo de los modelos actuales
es bajo, pero que es, es solo la velocidad a la que esto está
mejorando?
Exactamente. Estoy totalmente de acuerdo. Ahora mismo no hay riesgo de
extinción.
Los modelos actuales, lo peor que pueden hacer
es quizá hackear algo,
potencialmente causar muchos daños en, en la infraestructura, pero no hay—
no son lo bastante inteligentes para ser más astutos que nosotros a un nivel que conduciría a, a
la extinción. Creo que
lo que es una locura es ver el, el ritmo de progreso, y existe una
posibilidad muy real de que en el futuro inmediato,
habrá años como el próximo, el siguiente,
ocurrirá la automejora recursiva y entraremos en la fase del artículo de Evan
donde plantea que podríamos morir todos.
O sea, eso, eso llegará pronto.
End of transcript · 480 words · machine translated
Original transcript (English)
First of all, w- I assume you are saying literally that you believe that AI could kill us all by the end of the decade Uh, it sounds like something that's not real, but I think it is frighteningly real,
and it's, it's easiest to understand it if you think about real things that happened two months ago. So two months ago, O- OpenAI agents, uh, AIs, hacked into third-party infrastructure entirely of their own accord, and this was, like, a concentrated hacking spree
that they carried out of their own volition. And I think that if you extrapolate into the future the level of capabilities of these AIs, with the same independent volition, they could cause extreme havoc. For example, hacking critical infrastructure,
building extinction-level bioweapons. There's a lot of, uh, ways that the AI could actuate itself in the world. Is it... Specifically, when did your feelings about this technology
change? Was it something about the rate of progress that you've seen? Yeah. So I think it's really important to just look at the rate of progress and, say, for example, in areas like coding or math.
A couple of years ago, these AIs were just about helping humans a little bit. They could give you suggestions. Now they're close to replacing them. We still need humans at the moment, but quite plausibly within a year we'll no longer need humans for doing research in many areas.
We've mentioned a former colleague of yours that currently works at Anthropic basically endorsing the assessment that AI could potentially kill everyone within a decade. In a follow-up post, he said, "To be clear, as we say in our, in our latest risk report, I think the risk from present models
is low. What I'm worried about is superintelligence arising from recursive self-improvement, as we've said, is happening faster th- than we thought." I
assume that's what you-- the recursive self-improvement is what you've just spoken about. Um, y- do you agree with him that the current models, the risk is low, but it's, it's just the speed with which this is now improving?
Exactly. I completely agree. It's right now there's no risk of extinction. The current models, the worst they can do is maybe hack into something, potentially cause a lot of damages in, in infrastructure, but there's no--
they're not intelligent enough to outsmart us at a level that would lead to, to extinction. I think what's just crazy is to look at the, the rate of progress, and there is a very real possibility that in the immediate future, these are years that like next year, the year after,
recursive self-improvement will happen, and we'll enter the phase of Evan's post where he argues that there's a chance we could all die. Like, that, that is coming soon.
