Transcript · English → Spanish
The Future of AI and Human Control
Todo lo que es tan poderoso también intimida.
Este momento es complicado, pues sentimos tanto un enorme potencial y mucha
ansiedad muy comprensible al mismo tiempo.
Estos modelos pueden ayudar a las personas a descubrir nuevos conocimientos, nuevos medicamentos, mejores
servicios sanitarios, una educación más sólida y a construir economías más productivas.
Pueden ser nuevas herramientas para que las personas persigan sueños y ambiciones que hoy parecen
inalcanzables.
La complejidad de la vida ha aumentado de forma tan drástica para la persona promedio.
La IA puede ser una herramienta defensiva frente a esta complejidad tanto como puede ser esta
herramienta de descubrimiento e innovación sin precedentes.
Por otro lado, a medida que los sistemas de IA sean más capaces y más
autónomos, podrían avanzar más rápido que nuestras
instituciones, concentrar
el poder en muy p- muy pocas manos, o tomar decisiones que la gente no
comprenda ni controle por más tiempo.
Esa preocupación cobra especial importancia al acercarnos a sistemas que pueden mejorarse
a sí mismos y a sus versiones futuras, a menudo llamada automejora recursiva.
self-improvement.
A medida que el proceso de crear IA se vuelve más automatizado, el ritmo del progreso de la IA
podría acelerarse rápidamente.
Este momento exige extremo cuidado.
Estoy en gran medida de acuerdo con el profesor Bengio,
eh, aunque diré dos en lugar de tres.
Creo que hay dos maneras en que el progreso de la IA podría ir muy mal
que debemos
evitar.
Primero, podríamos perder el control del futuro ante la IA.
El riesgo es que avance tan rápido que la gente ya no pueda seguir lo que está
ocurriendo
ni intervenir cuando sea necesario. Obviamente, esto sería terrible.
La industria no debe aceptar demasiado riesgo tecnológico solo porque los
beneficios
son demasiado grandes y se sienten demasiado importantes para frenar.
Superar a otras empresas en una carrera competitiva no es motivo para tomar decisiones imprudentes,
ni
creemos estar atrapados en una carrera en la que no podemos hacerlo.
Hemos frenado unilateralmente en el pasado. Lo haremos en el futuro.
No queremos construir sistemas. Creemos que es importante
que todos eviten
construir sistemas para los que no podamos ofrecer las garantías de alineación, supervisión y
seguridad que debemos ofrecer.
Debemos entender qué están haciendo estos sistemas y tener pruebas sólidas de que
harán lo que la gente pretende, incluso cuando se vuelvan muy, muy inteligentes.
De hecho, especialmente cuando se vuelvan muy, muy inteligentes.
No importa si la gente sitúa el riesgo de catástrofe en el diez por ciento o el uno
por ciento, doce por ciento o cero coma uno por ciento.
Ninguno de estos niveles es ni remotamente aceptable,
y no deberíamos entrenar modelos que
no podamos demostrar de forma extremadamente convincente que podrán mantenerse bajo
control humano.
Así que esa es una forma en que las cosas pueden salir mal.
En la otra dirección, estos sistemas podrían concentrar demasiado
poder en muy pocas
manos.
Ninguna persona, empresa ni país debería poder usar los más
poderosos
modelos de I- IA para imponer su visión del mundo a
todos los demás.
Una empresa o un país que crea que solo él puede ser digno de confianza con
esta tecnología puede
usar esa creencia para justificar casi cualquier cosa más.
Tenemos que rechazar esa lógica incluso cuando le convenga a cualquier actor.
Creo que hay un camino pragmático para abordar ambas.
En OpenAI, abordamos estas cuestiones con un objetivo
claro.
La IA debería dar a las personas más control sobre sus propias vidas,
más libertad para vivir
como quieran, más capacidad para resolver problemas, grandes
o pequeños, y mejorar
sus comunidades.
No queremos caer en la trampa del optimismo ciego.
Tampoco queremos caer en la trampa del catastrofismo.
Dejarnos llevar por cualquiera de los extremos no nos ayudará a resolver con éxito los
desafíos que tenemos delante, especialmente en un momento en que el mundo
y su gente
enfrentan desafíos tan enormes que esta tecnología puede ayudar a resolver.
Por eso intentamos seguir el camino intermedio entre estos dos extremos.
Para nosotros, eso significa tres principios.
Primero,
a medida que la IA sea más capaz, las personas deben seguir siendo el centro de la IA
toma de decisiones.
La alineación no es una cuestión abstracta de investigación.
Es el trabajo de garantizar que estos sistemas sigan estando de forma fiable bajo
control humano,
reflejen los valores humanos y ayuden a las personas a guiar las próximas etapas del
desarrollo.
No intentamos y no debemos automatizar el juicio humano
ni los valores humanos.
En segundo lugar, los beneficios del progreso científico
y del crecimiento económico deben ser
de las personas y para las personas. La IA debe ayudar a los investigadores a hacer
descubrimientos, a los médicos a
tratar a los pacientes, a los docentes a enseñar a los alumnos, a los emprendedores a crear empresas, a las comunidades a
resolver problemas que parecían inalcanzables y mucho más.
La historia continua del progreso humano no consiste en que las herramientas reemplacen
la capacidad de decisión humana. Consiste en que las herramientas adecuadas hagan que las personas sean más
capaces, y creo
que esto llegará mucho más lejos de lo que creemos posible.
Tercero, esta tecnología debe facultar a las personas
individualmente.
Un gran futuro surgirá de que las personas descubran su potencial
y generen valor
para sí mismas, sus comunidades, sus países y el mundo en general.
End of transcript · 896 words · machine translated
Original transcript (English)
Anything this power is also powerful is also intimidating. This moment is complicated as we feel both tremendous potential and very understandable anxiety at the same time. These models can help people discover new knowledge, new medicines, better healthcare, stronger education, and build more productive economies.
They can be new tools for people to pursue dreams and ambition that today feel out of reach. The complexity of life has increased so dramatically for the average person. AI can be a defensive tool against this complexity as much as it can be this tool of unprecedented discovery and innovation.
On the other hand, as AI systems become more capable and more autonomous, they could move faster than our institutions, concentrate power in too f- too few hands, or make decisions that people no longer understand or control.
That concern becomes especially important as we approach systems that can improve themselves and future versions of themselves, often called recursive self-improvement. As the process of building AI becomes more automated, the pace of AI progress could accelerate rapidly.
This moment calls for extreme care. I largely agree with Professor Bengio, uh, although I'll say two instead of three. I believe there are two ways that AI progress could go very badly that we have to
avoid. First, we could lose control of the future to AI. The risk is that it moves so fast that people can no longer follow what's happening or intervene when needed. This would obviously be terrible.
The industry must not accept too much technological risk just because the benefits are too great and that they feel too important to slow down. Beating companies in a competitive race is not a reason to make rash decisions, nor
do we believe we are locked in a race where we are unable to do that. We have unilaterally slowed down in the past. We will do so in the future. We do not want to build systems. We think it's important that everyone avoids building systems where we cannot make the alignment, monitorability, and
safety guarantees that we must. We need to understand what these systems are doing and have strong evidence that they will do what people intend, even as they get very, very smart. Actually, especially as they get very, very smart. It doesn't matter whether people put the risk of catastrophe at ten percent or one
percent or twelve percent or point one percent. None of these levels are remotely acceptable, and we should not train models that we cannot make an extremely strong case they will be able to keep under human control.
So that's one way things can go wrong. In the other direction, these systems could concentrate too much power in too few hands. No one person or company or country should be able to use the most
powerful A- AI models to impose their worldview on everyone else. A company or country that believes only it can be trusted with this technology can
use that belief to justify almost anything else. We have to reject that logic even when it's convenient for any one actor. I believe there is a pragmatic path through both of these. At OpenAI, we approach these questions with a clear goal.
AI should give people more power over their own lives, more freedom to live lives the way they want, more ability to solve problems, big or small, and to improve their communities.
We don't want to fall into the trap of blind optimism. We also don't want to fall into the trap of doomerism either. Getting pulled into either extreme will not help us successfully figure out the challenges in front of us, especially at a time when the world and its people
face such enormous challenges that this technology can help solve. So we try to walk the middle path between these two poles. For us, that means three principles. First, as AI becomes more capable, people must remain at the center of AI
decision-making. Alignment is not an abstract research question. It is the work of ensuring that these systems reliably remain under human control, reflect human values, and help people guide the next stages of
development. We are not trying to and must not automate human judgment or human values. Second, the benefits of scientific progress and economic growth must be
by people and for people. AI should help researchers make discoveries, doctors treat patients, teachers teach students, entrepreneurs start companies, communities solve problems that felt out of reach, and much more. The continuous story of human progress is not that tools replace
human agency. It is that the right tools make people more capable, and I believe this is going to go much further than we believe possible. Third, this technology must empower people individually.
A great future will come from people realizing their potential and building value for themselves, their communities, their countries, and the broader world.
