Transcript · English → Spanish
AI Risks and Future Implications
En primer lugar,
Supongo que estás diciendo literalmente que crees que
la IA
podría matarnos a todos al final de la década.
Eh, suena a algo que no es real,
pero creo que es aterradoramente real,
y es, es más fácil entenderlo si piensas en cosas reales que
ocurrieron hace dos meses. Hace dos meses, los agentes de O-OpenAI,
eh, IA hackearon infraestructuras de terceros
por completo por iniciativa propia, y esto fue como una oleada concentrada de hackeos
que llevaron a cabo por su propia voluntad.
Y creo que, si extrapolas al futuro el nivel de capacidades de
estas IA con la misma voluntad independiente, podrían causar estragos extremos.
Por ejemplo, hackear infraestructuras críticas, crear
armas biológicas de nivel de extinción. Hay muchas, eh, formas de que
la IA podría actuar por sí misma en el mundo.
¿Fue— concretamente, cuándo cambió su opinión sobre esta
tecnología
¿cambió? ¿Tuvo que ver con el ritmo de
progreso que ha visto?
Sí. Así que creo que es muy importante
observar el ritmo de progreso y,
por ejemplo, en ámbitos como la programación o las matemáticas.
Hace un par de años, estas IA solo ayudaban un poco a los humanos.
Podían darte sugerencias. Ahora casi pueden reemplazarlos.
Podían darte sugerencias. Ahora casi pueden reemplazarlos.
Aún necesitamos humanos por el momento, pero es bastante plausible que, en un año,
ya no
necesitemos humanos para investigar en muchas
áreas.
Mencionamos a un antiguo colega suyo que actualmente trabaja en Anthropic,
que básicamente respalda la evaluación de que la IA podría matar a todo el mundo
en un plazo de
década. En una publicación posterior, dijo, "Para que quede claro, como decimos en nuestro, en nuestro
último informe de riesgos, creo que el riesgo de los modelos actuales
es bajo.
Lo que me preocupa es que surja una superinteligencia a partir de
la mejora recursiva
autónoma, como hemos dicho, está ocurriendo más rápido de lo que pensábamos". Yo
supongo que eso es a lo que usted— la mejora recursiva autónoma
es de lo que acaba de hablar.
Eh, ¿está de acuerdo con él en que el riesgo de los modelos actuales
es bajo, pero que simplemente es la velocidad a la que están mejorando
ahora?
Exactamente. Estoy completamente de acuerdo. Ahora mismo no hay riesgo de
extinción. Los modelos actuales, lo peor que pueden hacer es quizá hackear
algo, causar potencialmente muchos daños en
la infraestructura,
pero no hay…
no son lo bastante inteligentes para superarnos a un nivel que llevaría a, a
la extinción. Creo que
lo verdaderamente increíble es ver el, el ritmo de progreso, y hay una posibilidad muy
real de que, en el futuro inmediato,
estos años que
como el próximo año, el siguiente, ocurra la automejora recursiva,
y
entremos en la fase de la publicación de Evan, donde sostiene que existe la
posibilidad de que todos muramos. O sea, eso, eso llegará pronto.
End of transcript · 483 words · machine translated
Original transcript (English)
First of all, I assume you are saying literally that you believe that AI could kill us all by the end of the decade Uh, it sounds like something that's not real,
but I think it is frighteningly real, and it's, it's easiest to understand it if you think about real things that happened two months ago. So two months ago, O-OpenAI agents, uh, AIs hacked into third-party infrastructure entirely of their own accord, and this was like a concentrated hacking
spree that they carried out of their own volition. And I think that if you extrapolate into the future the level of capabilities of these AIs with the same independent volition, they could cause extreme havoc. For example, hacking critical infrastructure, building extinction-level bioweapons. There's a lot of, uh, ways that
the AI could actuate itself in the world. Is it-- Specifically, when did your feelings about this technology change? Was it something about the rate of progress that you've seen?
Yeah. So I think it's really important to just look at the rate of progress and, say, for example, in areas like coding or math. A couple of years ago, these AIs were just about helping humans a little bit.
They could give you suggestions. Now they're close to replacing them. We still need humans at the moment, but quite plausibly within a year, we'll no longer need humans for doing research in many areas.
We mentioned a former colleague of yours who currently works at Anthropic, basically endorsing the assessment that AI could potentially kill everyone within a decade. In a follow-up post, he said, "To be clear, as we say in our, in our latest risk report, I think the risk from present models
is low. What I'm worried about is superintelligence arising from recursive self-improvement, as we've said, is happening faster th-than we thought." I assume that's what you-- the recursive self-improvement
is what you've just spoken about. Um, y- do you agree with him that the current models, the risk is low, but it's, it's just the speed with which this is now improving? Exactly. I completely agree. It's right now there's no risk of
extinction. The current models, the worst they can do is maybe hack into something, potentially cause a lot of damages in, in infrastructure, but there's no-- they're not intelligent enough to outsmart us at a level that would lead to, to
extinction. I think what's just crazy is to look at the, the rate of progress, and there is a very real possibility that in the immediate future, these years that like next year, the year after, recursive self-improvement will happen,
and we'll enter the phase of Evan's post where he argues that there's a chance we could all die. Like, that, that is coming soon.
