AI Risks and Future Implications

desde temprano que crees, eh, que

early that you believe, uh, that

IA

AI

podría matarnos a todos a finales de la década, ¿cómo

could kill us all by the end of the decade, how would

ocurriría eso? O sea, ¿cómo sería eso en realidad?

that happen? Like, what would that actually look like?

Sí. El escenario preciso suena un poco

Yeah. So the precise scenario sounds a little

como ciencia ficción.

bit like science fiction.

Eh, suena como algo que no es real,

Uh, it sounds like something that's not real,

pero creo que es aterradoramente real,

but I think it is frighteningly real,

y es más fácil entenderlo si piensas en cosas reales que

and it's, it's easiest to understand it if you think about real things that

ocurrieron hace dos meses. Así que, hace dos meses, los agentes de O- OpenAI,

happened two months ago. So two months ago, O- OpenAI agents,

eh, las IA piratearon infraestructura de terceros

uh, AIs hacked into third-party infrastructure

totalmente por iniciativa propia, y fue como una oleada concentrada de ataques informáticos

entirely of their own accord, and this was, like, a concentrated hacking

que llevaron a cabo por voluntad propia.

spree that they carried out of their own volition.

Y creo que, si extrapolas al futuro el nivel de capacidades de

And I think that if you extrapolate into the future the level of capabilities of

estas IA con la misma voluntad independiente, podrían causar un caos extremo.

these AIs with the same independent volition, they could cause extreme havoc.

Por ejemplo, piratear infraestructuras críticas,

For example, hacking critical infrastructure,

construyendo

building

armas biológicas capaces de causar la extinción. Hay muchas, eh, formas en que

extinction-level bio weapons. There's a lot of, uh, ways that

la IA podría actuar por sí sola en el mundo.

the AI could actuate itself in the world.

Yo... ¿cuándo, concretamente, cambió tu opinión sobre esta

I- is it... Specifically, when did your feelings about this

tecnología? ¿Fue algo relacionado con el ritmo del

technology change? Was it something about the rate of

progreso que has visto?

progress that you've seen?

Sí. Así que creo que es muy importante simplemente

Yeah. So I think it's really important to just

observar el ritmo del progreso y,

look at the rate of progress and,

por ejemplo, en campos como la programación o las matemáticas, hace un par de años, estas IA

say, for example, in areas like coding or math, a couple years ago, these AIs

solo ayudaban un poco a los humanos. Podían darte sugerencias.

were just about helping humans a little bit. They could give you suggestions.

Ahora están cerca de reemplazarlos.

Now they're close to replacing them.

Aún necesitamos humanos por el momento, pero es bastante plausible que dentro de un año ya no

We still need humans at the moment, but quite plausibly within a year we'll no

necesitemos humanos para investigar en muchas

longer need humans for doing research in many

áreas. Apenas el martes, OpenAI resolvió un problema del milenio,

areas. Only on Tuesday, OpenAI solved a millennium problem,

uno de los

one of the

los mayores problemas abiertos sin resolver de las matemáticas, de forma totalmente autónoma con una IA.

biggest unsolved open problems in mathematics, purely autonomously using an

IA. Y creo que lo más aterrador es que la IA se use para hacerse

AI. And I think what's most scary is if AI is used to make

más inteligente. Así puedes tomar una IA

itself more intelligent. So you can take an AI

y darle el problema

and give it the problem

de la investigación en IA, igual que actualmente le han dado la investigación

of AI research, just like currently they've given it math

matemática.

research.

Podrías hacer que realizara las tareas que hacemos actualmente,

You could make it do the tasks that we're currently doing,

y entonces obtienes lo que

and then you get what's

se llama una explosión de inteligencia.

called an intelligence explosion.

La IA se vuelve cada vez más inteligente sin intervención humana

The AI just gets smarter and smarter with no human involvement

necesaria, y así

necessary, and so

tienes algo que es muchísimo más inteligente que los humanos,

you have a thing that is vastly smarter than, than humans,

y esto podría llegar

and this could be coming

muy pronto.

very soon.

Y… mencionamos que un antiguo colega tuyo

Y- we mentioned a former colleague of yours

trabaja actualmente en Anthropic, básicamente

currently works at Anthropic, basically

respaldando la evaluación de que la IA podría matar a todos

endorsing the assessment that AI could potentially kill everyone

en una década.

within a decade.

En una publicación posterior, dijo: Para que quede claro, como decimos en nuestro,

In a follow-up post, he said, "To be clear, as we say in our,

en nuestro último informe

in our latest risk

de riesgos, creo que el riesgo de los modelos actuales

report, I think the risk from present models

es bajo.

is low.

Lo que me preocupa es que surja una superinteligencia mediante

What I'm worried about is super intelligence arising from

una mejora

recursive

recursiva, como hemos dicho, que está ocurriendo más rápido de,

self-improvement, as we've said, is happening faster than,

de lo que creíamos". Yo

than we thought." I

supongo que a eso se refiere usted, la mejora recursiva

assume that's what you-- the recursive self-improvement

es de lo que acaba de hablar.

is what you've just spoken

Eh, sí.

about. Um, y-

Exacto.

Exactly

Está de acuerdo con él en que el riesgo de los modelos actuales es bajo,

... do you agree with him that the current models, the risk is low,

pero

but

solo es la velocidad con la que ahora está mejorando todo esto?

it's, it's just the speed with which this is now improving?

Exacto. Estoy completamente de acuerdo. Ahora mismo no hay riesgo de extinción.

Exactly. I completely agree. It's, right now there's no risk of extinction.

Los modelos actuales, lo peor que pueden hacer

The current models, the worst they can do

es quizá hackear algo,

is maybe hack into something,

causar potencialmente muchos daños en, en la infraestructura, pero no hay—

potentially cause a lot of damages in, in infrastructure, but there's no--

no son lo bastante inteligentes para superarnos a un nivel que llevaría a, a

they're not intelligent enough to outsmart us at a level that would lead to, to

extinción. Creo que lo realmente increíble es ver el ritmo del

extinction. I think what's just crazy is to look at the, the rate of

progreso, y existe una posibilidad muy real de que en el

progress, and there is a very real possibility that in the

futuro inmediato, estos años, como el próximo año, el siguiente,

immediate future, these years, like next year, the year after,

ocurra la automejora recursiva, y entraremos en la fase del post de Evan

recursive self-improvement will happen, and we'll enter the phase of Evan's post

donde sostiene que existe la posibilidad de que todos muramos.

where he argues that there's a chance we could all die.

O sea, eso llegará pronto.

Like, that, that is coming soon.

Ya saben, muchos de los, estos, eh, CEO de estas empresas, ya saben,

You know, a lot of the, these, uh, CEOs of these companies will, you know,

irán

will

al Congreso y dirán: «Oigan, nos encantaría que hubiera regulación». A- Anthropic,

go to Congress and say, "Hey, we would love regulation." A- Anthropic,

en su nueva declaración, dice ahora: «El mundo se beneficiaría de que la industria

in their new statement right now, says, "The world would benefit from the industry

adoptara una forma legal y verificable de colaborar para regular el ritmo

adopting a lawful, verifiable way to work together to pace

al que lanzamos

how we release

modelos potentes». Eh, ya conocen los argumentos.

powerful models." Um, you know the arguments.

Es una carrera armamentista. Si una em— Si una empresa estadounidense no lo hace, eh,

It's an arms race. If the US com-- If a US company doesn't, uh,

lograr la mejor IA, una empresa china o algunos malos actores podrían hacerlo.

achieve the best AI, a Chinese company or some bad actors out there might.

¿Cree que, eh, estas empresas

Do you believe that, uh, that these companies

realmente quieren regulación o es pura palabrería?

actually do want regulation, or is it lip service?

Sí, sí que la quieren. Esto es completamente sincero.

They, they completely do. This is completely honest.

Al igual que la respuesta a la publicación de Evan

Just in the same way that the response to Evan's post

fue una especie de sorpresa, fue

was sort of surprise, it was

como: "Esto no puede ser real. Seguro que un tipo que trabaja en esta tecnología

like, "This can't be real. Surely a guy working on this technology

no puede realmente

can't actually

creer que existe este nivel de peligro". No, eso es completamente sincero, y estas

believe there's this level of danger." No, that's completely genuine, and these

personas también son completamente sinceras cuando ruegan que las regulen.

people are also completely genuine when they are begging to be regulated.

Esto es algo

This is a

sincero… Ellos, se encuentran en esta situación

genuine... They, they find themselves in this scenario

en la que se ven obligados a

where they're compelled to

competir por crear una tecnología mortal, y les, les

race towards building a deadly technology, and they would, they would

encantaría que algún tipo de organismo internacional les permitiera, les permitiera

love for some sort of international body to allow them to, to

abordarlo a un ritmo razonable. Es que no confían

approach it at a reasonable pace. They just don't trust

en que las personas a su alrededor

that the people around them

vayan a llegar de forma segura, así que sienten que tienen que apresurarse

are gonna get there in a safe way, so they feel like they have to race there

también.

too.

Tú podrías haberte quedado callada. Quiero decir, tú— seguro que tenías un gran trabajo, te

You, you could have stayed quiet. I mean, you-- I'm sure you had a great job, being

pagaban, imagino, muy bien. Obviamente eres increíblemente inteligente, una

paid, I imagine, very well. You're obviously incredibly smart, a

matemática. Eh, ¿por qué decidiste hablar?

mathematician. Um, why did you decide to speak

out?

Bueno, al principio decidí irme.

Well, I initially just decided to leave.

Pensé: "Ya no puedo ser parte de esto".

I thought, "I can't be part of this anymore."

Pero entonces, eh,

But then I, uh,

me di cuenta de que probablemente podría aprovecharlo.

I realized I could probably make some use of it.

No esperaba que se hiciera tan viral.

I did not expect it to go this viral.

Así que lo que hice fue escribir un hilo en Twitter. Lo escribí en un documento de Google.

So what I did is I wrote a Twitter thread out. I wrote it in a Google Doc.

Lo preparé con una amiga. Nosotras, colaboramos.

I drafted it with a friend. We, we collaborated.

Sí, tenía unos cuantos, eh, había unos cuantos amigos con quienes hablé, eh,

Yeah, I had a few, uh, there were a few friends I discussed, uh,

sobre la mejor manera

the best way

de expresarme con, eh, después de que decidí, decidí irme.

of expressing myself with, um, after I decided to, decided to leave.

Eh, y también conseguí que unos amigos retuitearan aquello.

Uh, and then I also got some friends to, to retweet the thing.

Pensé: «Intentemos hacer que esto se vuelva un poco viral». Pero, claramente,

I was like, "Let's try and make this a bit viral." But clearly,

había una demanda latente

there was latent

de que esto explotara por completo.

demand for this thing to absolutely explode.

O sea, eh,

Like, uh,

Yo... nunca había visto que un tuit sobre seguridad de IA se volviera tan

I- I've never seen an AI safety tweet go this

loco.

crazy.

Creo que se debe a que la gente vio los, eh, ciberataques de los últimos

I think it's because people saw the, uh, the cyberattacks in the last couple of

meses. También están empezando a interiorizar el

months. They're also starting to internalize the

ritmo del progreso.

rate of progress.

La gente está empezando a darse cuenta de que esto es tecnología real. No es, simplemente,

People are starting to realize this is real technology. This is not, like,

puro bombo.

hype.

Esto no va a desaparecer pronto. Esto solo se va a volver más loco.

This isn't going away anytime soon. This is only gonna get more crazy.

Se ha vuelto más loco durante los últimos seis meses, y creo que existía esa

It's been getting crazier for the last six months, and I think there was that

comprensión latente de la gravedad de la situación que hizo que esto fuera,

latent understanding of the severity of the situation that meant that this was,

como una especie de cerilla que encendió una especie de llama.

like, sort of a, a match that lit kind of a, a flame.

O sea, me impactó mucho hasta qué punto

Like, I was very shocked by the extent

se viralizó tan rápido.

that how quickly it went viral.

Jacob, eh, Coxon, te agradezco mucho que, eh, hayas venido a hablar con nosotros.

Jacob, uh, Coxon, I really appreciate you, uh, coming on and talking to us.

Muchas gracias.

Thank you so much.

Gracias.

Thanks.