AI Risks and Future Implications
desde temprano que crees, eh, que
IA
podría matarnos a todos a finales de la década, ¿cómo
ocurriría eso? O sea, ¿cómo sería eso en realidad?
Sí. El escenario preciso suena un poco
como ciencia ficción.
Eh, suena como algo que no es real,
pero creo que es aterradoramente real,
y es más fácil entenderlo si piensas en cosas reales que
ocurrieron hace dos meses. Así que, hace dos meses, los agentes de O- OpenAI,
eh, las IA piratearon infraestructura de terceros
totalmente por iniciativa propia, y fue como una oleada concentrada de ataques informáticos
que llevaron a cabo por voluntad propia.
Y creo que, si extrapolas al futuro el nivel de capacidades de
estas IA con la misma voluntad independiente, podrían causar un caos extremo.
Por ejemplo, piratear infraestructuras críticas,
construyendo
armas biológicas capaces de causar la extinción. Hay muchas, eh, formas en que
la IA podría actuar por sí sola en el mundo.
Yo... ¿cuándo, concretamente, cambió tu opinión sobre esta
tecnología? ¿Fue algo relacionado con el ritmo del
progreso que has visto?
Sí. Así que creo que es muy importante simplemente
observar el ritmo del progreso y,
por ejemplo, en campos como la programación o las matemáticas, hace un par de años, estas IA
solo ayudaban un poco a los humanos. Podían darte sugerencias.
Ahora están cerca de reemplazarlos.
Aún necesitamos humanos por el momento, pero es bastante plausible que dentro de un año ya no
necesitemos humanos para investigar en muchas
áreas. Apenas el martes, OpenAI resolvió un problema del milenio,
uno de los
los mayores problemas abiertos sin resolver de las matemáticas, de forma totalmente autónoma con una IA.
IA. Y creo que lo más aterrador es que la IA se use para hacerse
más inteligente. Así puedes tomar una IA
y darle el problema
de la investigación en IA, igual que actualmente le han dado la investigación
matemática.
Podrías hacer que realizara las tareas que hacemos actualmente,
y entonces obtienes lo que
se llama una explosión de inteligencia.
La IA se vuelve cada vez más inteligente sin intervención humana
necesaria, y así
tienes algo que es muchísimo más inteligente que los humanos,
y esto podría llegar
muy pronto.
Y… mencionamos que un antiguo colega tuyo
trabaja actualmente en Anthropic, básicamente
respaldando la evaluación de que la IA podría matar a todos
en una década.
En una publicación posterior, dijo: Para que quede claro, como decimos en nuestro,
en nuestro último informe
de riesgos, creo que el riesgo de los modelos actuales
es bajo.
Lo que me preocupa es que surja una superinteligencia mediante
una mejora
recursiva, como hemos dicho, que está ocurriendo más rápido de,
de lo que creíamos". Yo
supongo que a eso se refiere usted, la mejora recursiva
es de lo que acaba de hablar.
Eh, sí.
Exacto.
Está de acuerdo con él en que el riesgo de los modelos actuales es bajo,
pero
solo es la velocidad con la que ahora está mejorando todo esto?
Exacto. Estoy completamente de acuerdo. Ahora mismo no hay riesgo de extinción.
Los modelos actuales, lo peor que pueden hacer
es quizá hackear algo,
causar potencialmente muchos daños en, en la infraestructura, pero no hay—
no son lo bastante inteligentes para superarnos a un nivel que llevaría a, a
extinción. Creo que lo realmente increíble es ver el ritmo del
progreso, y existe una posibilidad muy real de que en el
futuro inmediato, estos años, como el próximo año, el siguiente,
ocurra la automejora recursiva, y entraremos en la fase del post de Evan
donde sostiene que existe la posibilidad de que todos muramos.
O sea, eso llegará pronto.
Ya saben, muchos de los, estos, eh, CEO de estas empresas, ya saben,
irán
al Congreso y dirán: «Oigan, nos encantaría que hubiera regulación». A- Anthropic,
en su nueva declaración, dice ahora: «El mundo se beneficiaría de que la industria
adoptara una forma legal y verificable de colaborar para regular el ritmo
al que lanzamos
modelos potentes». Eh, ya conocen los argumentos.
Es una carrera armamentista. Si una em— Si una empresa estadounidense no lo hace, eh,
lograr la mejor IA, una empresa china o algunos malos actores podrían hacerlo.
¿Cree que, eh, estas empresas
realmente quieren regulación o es pura palabrería?
Sí, sí que la quieren. Esto es completamente sincero.
Al igual que la respuesta a la publicación de Evan
fue una especie de sorpresa, fue
como: "Esto no puede ser real. Seguro que un tipo que trabaja en esta tecnología
no puede realmente
creer que existe este nivel de peligro". No, eso es completamente sincero, y estas
personas también son completamente sinceras cuando ruegan que las regulen.
Esto es algo
sincero… Ellos, se encuentran en esta situación
en la que se ven obligados a
competir por crear una tecnología mortal, y les, les
encantaría que algún tipo de organismo internacional les permitiera, les permitiera
abordarlo a un ritmo razonable. Es que no confían
en que las personas a su alrededor
vayan a llegar de forma segura, así que sienten que tienen que apresurarse
también.
Tú podrías haberte quedado callada. Quiero decir, tú— seguro que tenías un gran trabajo, te
pagaban, imagino, muy bien. Obviamente eres increíblemente inteligente, una
matemática. Eh, ¿por qué decidiste hablar?
out?
Bueno, al principio decidí irme.
Pensé: "Ya no puedo ser parte de esto".
Pero entonces, eh,
me di cuenta de que probablemente podría aprovecharlo.
No esperaba que se hiciera tan viral.
Así que lo que hice fue escribir un hilo en Twitter. Lo escribí en un documento de Google.
Lo preparé con una amiga. Nosotras, colaboramos.
Sí, tenía unos cuantos, eh, había unos cuantos amigos con quienes hablé, eh,
sobre la mejor manera
de expresarme con, eh, después de que decidí, decidí irme.
Eh, y también conseguí que unos amigos retuitearan aquello.
Pensé: «Intentemos hacer que esto se vuelva un poco viral». Pero, claramente,
había una demanda latente
de que esto explotara por completo.
O sea, eh,
Yo... nunca había visto que un tuit sobre seguridad de IA se volviera tan
loco.
Creo que se debe a que la gente vio los, eh, ciberataques de los últimos
meses. También están empezando a interiorizar el
ritmo del progreso.
La gente está empezando a darse cuenta de que esto es tecnología real. No es, simplemente,
puro bombo.
Esto no va a desaparecer pronto. Esto solo se va a volver más loco.
Se ha vuelto más loco durante los últimos seis meses, y creo que existía esa
comprensión latente de la gravedad de la situación que hizo que esto fuera,
como una especie de cerilla que encendió una especie de llama.
O sea, me impactó mucho hasta qué punto
se viralizó tan rápido.
Jacob, eh, Coxon, te agradezco mucho que, eh, hayas venido a hablar con nosotros.
Muchas gracias.
Gracias.
End of transcript · 1,127 words · machine translated
Original transcript (English)
early that you believe, uh, that AI could kill us all by the end of the decade, how would that happen? Like, what would that actually look like? Yeah. So the precise scenario sounds a little
bit like science fiction. Uh, it sounds like something that's not real, but I think it is frighteningly real, and it's, it's easiest to understand it if you think about real things that happened two months ago. So two months ago, O- OpenAI agents,
uh, AIs hacked into third-party infrastructure entirely of their own accord, and this was, like, a concentrated hacking spree that they carried out of their own volition. And I think that if you extrapolate into the future the level of capabilities of these AIs with the same independent volition, they could cause extreme havoc.
For example, hacking critical infrastructure, building extinction-level bio weapons. There's a lot of, uh, ways that the AI could actuate itself in the world. I- is it... Specifically, when did your feelings about this
technology change? Was it something about the rate of progress that you've seen? Yeah. So I think it's really important to just look at the rate of progress and, say, for example, in areas like coding or math, a couple years ago, these AIs
were just about helping humans a little bit. They could give you suggestions. Now they're close to replacing them. We still need humans at the moment, but quite plausibly within a year we'll no longer need humans for doing research in many areas. Only on Tuesday, OpenAI solved a millennium problem,
one of the biggest unsolved open problems in mathematics, purely autonomously using an AI. And I think what's most scary is if AI is used to make itself more intelligent. So you can take an AI and give it the problem
of AI research, just like currently they've given it math research. You could make it do the tasks that we're currently doing, and then you get what's called an intelligence explosion.
The AI just gets smarter and smarter with no human involvement necessary, and so you have a thing that is vastly smarter than, than humans, and this could be coming very soon.
Y- we mentioned a former colleague of yours currently works at Anthropic, basically endorsing the assessment that AI could potentially kill everyone within a decade. In a follow-up post, he said, "To be clear, as we say in our,
in our latest risk report, I think the risk from present models is low. What I'm worried about is super intelligence arising from recursive
self-improvement, as we've said, is happening faster than, than we thought." I assume that's what you-- the recursive self-improvement is what you've just spoken about. Um, y-
Exactly ... do you agree with him that the current models, the risk is low, but it's, it's just the speed with which this is now improving? Exactly. I completely agree. It's, right now there's no risk of extinction.
The current models, the worst they can do is maybe hack into something, potentially cause a lot of damages in, in infrastructure, but there's no-- they're not intelligent enough to outsmart us at a level that would lead to, to extinction. I think what's just crazy is to look at the, the rate of
progress, and there is a very real possibility that in the immediate future, these years, like next year, the year after, recursive self-improvement will happen, and we'll enter the phase of Evan's post where he argues that there's a chance we could all die. Like, that, that is coming soon.
You know, a lot of the, these, uh, CEOs of these companies will, you know, will go to Congress and say, "Hey, we would love regulation." A- Anthropic, in their new statement right now, says, "The world would benefit from the industry adopting a lawful, verifiable way to work together to pace
how we release powerful models." Um, you know the arguments. It's an arms race. If the US com-- If a US company doesn't, uh, achieve the best AI, a Chinese company or some bad actors out there might. Do you believe that, uh, that these companies
actually do want regulation, or is it lip service? They, they completely do. This is completely honest. Just in the same way that the response to Evan's post was sort of surprise, it was like, "This can't be real. Surely a guy working on this technology
can't actually believe there's this level of danger." No, that's completely genuine, and these people are also completely genuine when they are begging to be regulated. This is a genuine... They, they find themselves in this scenario
where they're compelled to race towards building a deadly technology, and they would, they would love for some sort of international body to allow them to, to approach it at a reasonable pace. They just don't trust that the people around them
are gonna get there in a safe way, so they feel like they have to race there too. You, you could have stayed quiet. I mean, you-- I'm sure you had a great job, being paid, I imagine, very well. You're obviously incredibly smart, a mathematician. Um, why did you decide to speak
out? Well, I initially just decided to leave. I thought, "I can't be part of this anymore." But then I, uh, I realized I could probably make some use of it.
I did not expect it to go this viral. So what I did is I wrote a Twitter thread out. I wrote it in a Google Doc. I drafted it with a friend. We, we collaborated. Yeah, I had a few, uh, there were a few friends I discussed, uh, the best way
of expressing myself with, um, after I decided to, decided to leave. Uh, and then I also got some friends to, to retweet the thing. I was like, "Let's try and make this a bit viral." But clearly, there was latent demand for this thing to absolutely explode.
Like, uh, I- I've never seen an AI safety tweet go this crazy. I think it's because people saw the, uh, the cyberattacks in the last couple of months. They're also starting to internalize the
rate of progress. People are starting to realize this is real technology. This is not, like, hype. This isn't going away anytime soon. This is only gonna get more crazy. It's been getting crazier for the last six months, and I think there was that
latent understanding of the severity of the situation that meant that this was, like, sort of a, a match that lit kind of a, a flame. Like, I was very shocked by the extent that how quickly it went viral. Jacob, uh, Coxon, I really appreciate you, uh, coming on and talking to us.
Thank you so much. Thanks.
