¿Podría la automejora de la IA provocar la extinción humana

Jacob, agradezco que estés con nosotros.

Eh, antes que nada, s- supongo que literalmente estás diciendo que crees que la IA podría matarnos a todos al final de la década.

¿Cómo ocurriría eso? ¿Cómo sería realmente?

Sí. El escenario concreto suena un poco a ciencia ficción.

Eh, suena a algo que no es real, pero creo que es aterradoramente real, y es más fácil entenderlo si piensas en cosas reales que pasaron hace dos meses. Hace dos meses, los agentes de O- OpenAI, eh, las IA, hackearon infraestructura de terceros por completo por iniciativa propia, y fue como una oleada concentrada de hackeos

que llevaron a cabo por su propia voluntad.

Y creo que si extrapolas al futuro el nivel de capacidades de estas IA con la misma voluntad independiente podrían causar estragos extremos.

Por ejemplo, piratear infraestructuras críticas, crear armas biológicas capaces de causar la extinción. Hay muchas, eh, formas en que la IA podría actuar por sí sola en el mundo.

Yo... ¿fue específicamente cuando cambiaron sus sentimientos sobre esta tecnología?

¿Fue algo relacionado con el ritmo de progreso que ha visto?

progress that you've seen?

Sí. Así que creo que es muy importante simplemente observar el ritmo del progreso y, por ejemplo, en ámbitos como la programación o las matemáticas, hace un par de años, estas IA solo ayudaban un poco a los humanos. Podían hacerle sugerencias.

Ahora están cerca de reemplazarlos. Aún necesitamos humanos por el momento, pero es muy plausible que dentro de un año ya no necesitemos humanos para investigar en muchos ámbitos.

El martes mismo, OpenAI resolvió un problema del milenio, uno de los mayores problemas abiertos sin resolver de las matemáticas, de forma totalmente autónoma usando una IA.

Y creo que lo más aterrador es si la IA se usa para hacerse más inteligente.

Así que puedes tomar una IA y darle el problema de la investigación en IA.

Igual que ahora le han dado investigación matemática, podrías hacer que realizara las tareas que hacemos actualmente, y entonces obtienes lo que se llama una explosión de inteligencia. La IA se vuelve cada vez más inteligente sin intervención humana necesaria. Y entonces tienes algo que es muchísimo más inteligente que los humanos,

y esto podría llegar muy pronto. Y- mencionamos a un antiguo colega tuyo que actualmente trabaja en Anthropic, que básicamente respalda la evaluación de que la IA podría potencialmente matar a todos en el plazo de un década. En una publicación posterior, dijo, «Para que quede claro, como decimos en nuestro, en nuestro

último informe de riesgos, creo que el riesgo de los modelos actuales es bajo.

Lo que me preocupa es que surja una superinteligencia a partir de la mejora recursiva autónoma, como hemos dicho, está ocurriendo más rápido de lo que pensábamos». Yo supongo que a eso se refería… La mejora recursiva es de lo que acaba de hablar.

Eh, sí… Exacto. ¿Está de acuerdo con él en que el riesgo de los modelos actuales es bajo, pero se trata solo de la velocidad a la que esto está mejorando?

Exacto. Estoy completamente de acuerdo. Ahora mismo no hay riesgo de extinción.

Los modelos actuales, lo peor que pueden hacer es quizá hackear algo, y potencialmente causar muchos daños en la infraestructura.

Pero no… No son lo bastante inteligentes como para superar…

nos lleve a un nivel que conduciría a la extinción. Creo que lo que es una locura es observar el ritmo del progreso, y existe una posibilidad muy real de que en el futuro inmediato, estos años, como el próximo año, el siguiente, ocurra la automejora recursiva y entremos en la fase de la publicación de Evan, donde sostiene que existe una

posibilidad de que todos muramos. O sea, eso llegará pronto.

Ya saben, muchos de estos, eh, directores ejecutivos de estas empresas van a ir al Congreso y decir: «Oigan, nos encantaría que hubiera regulación». A- Anthropic dice ahora mismo en su nueva declaración: «El mundo se beneficiaría de que la industria adoptara una forma legal y verificable de colaborar para regular el ritmo al que lanzamos

modelos potentes». Eh, ya saben cuál es el argumento, es, es una carrera armamentista carrera. Si la em-- Si una empresa de EE. UU. no lo hace, eh, logra la mejor IA, una empresa china o algunos agentes malintencionados podrían hacerlo.

¿Cree que, eh, estas empresas realmente quieren regulación o es puro palabrerío?

Sí, sí la quieren por completo. Esto es totalmente sincero.

Del mismo modo que la respuesta a la publicación de Evan fue una especie de sorpresa, fue como: «Esto no puede ser real. Seguro que un tipo que trabaja en esta tecnología no puede realmente creer que exista este nivel de peligro». No, eso es completamente sincero, y estas

personas también son completamente sinceras cuando ruegan que se las regule.

Esto es genuino… Ellos, ellos se encuentran en esta situación en la que se ven obligados a competir por desarrollar una tecnología mortal, y lo harían, les encantaría que algún tipo de organismo internacional les permitiera que, que lo abordaran a un ritmo razonable.

Simplemente no confían en que quienes los rodean vayan a llegar allí de forma segura y, por eso, sienten que también deben correr hasta allí también.

P-podrías haberte callado. Quiero decir, tú seguro que tenías un gran trabajo, te pagaban, imagino, muy bien. Es obvio que eres increíblemente inteligente, un matemático.

Eh, ¿por qué decidiste hablar?

Bueno, al principio decidí irme. Pensé: «Ya no puedo ser parte de esto».

Pero entonces, eh, me di cuenta de que probablemente podría sacar algún provecho de ello.

No esperaba que se volviera tan viral. Así que redacté un hilo de Twitter. Lo escribí en un documento de Google.

Lo preparé con un amigo. Nosotros, nosotros colaboramos.

Sí, tuve unos cuantos, eh, hubo unos amigos con los que hablé, eh, sobre la mejor forma de expresarme, eh, después de decidir, decidir irme.

Eh, y también conseguí que algunos amigos retuitearan la publicación.

Dije: «Intentemos hacer que esto se vuelva un poco viral». Pero, claramente, había una demanda latente para que esto explotara por completo.

O sea, eh, yo… nunca había visto un tuit sobre seguridad de IA volverse tan loco. Creo que es porque la gente vio los, eh, ciberataques de los últimos dos meses. También están empezando a interiorizar el ritmo del progreso.

La gente está empezando a darse cuenta de que esta es tecnología real. Esto no es, tipo, puro bombo.

Esto no va a desaparecer pronto. Esto solo se va a volver más loco.

Se ha vuelto más loco durante los últimos seis meses, y creo que había eso comprensión latente de la gravedad de la situación, lo que hizo que esto fuera como una especie de cerilla que encendió una llama.

Me sorprendió mucho lo rápido que se viralizó.

that how quickly it went viral.

Jacob, eh, Coxon, te agradezco mucho que hayas venido a hablar con nosotros.

Muchas gracias.

Gracias.