Transcript · English → Portuguese
Future of AI and Superintelligence
Muitas pessoas estão prevendo, inclusive todos os principais laboratórios,
que chegarão
lá. Eles vão apresentar um pesquisador júnior de
aprendizado de máquina em 2026.
Eles querem que o ciclo comece em 2027.
Quando a IA começará a criar as novas IAs sozinha.
Isso. Quando esse ciclo começar, vamos criar algo
chamado superinteligência, um sistema mais inteligente do que todos nós em
tudo ou
capaz de aprender a atuar em qualquer novo domínio.
Nós nos tornaremos uma espécie secundária neste planeta. Não estaremos no comando.
Não decidiremos o que acontece conosco.
A superinteligência não odeia você. Ela só não se importa com você.
Não aprendemos a fazê-la se importar conosco.
E se ela decidir, sei lá, resfriar o planeta para tornar a capacidade de
processamento mais eficiente,
vai nos congelar. Se quiser converter este planeta em combustível
para voar até
Marte, que seja.
Não aprendemos a controlar esses sistemas.
As capacidades estão melhorando exponencialmente.
Nossa capacidade de controlar esses sistemas é inexistente.
Temos filtros e proibições. Colocamos salvaguardas do tipo “não
diga essa palavra”. “Não fale sobre este assunto.”
E isso acontece depois, depois que o modelo já tomou a decisão.
Às vezes você o vê apagando o resultado.
Então eles constroem o modelo e depois colocam filtros ao redor dele para
garantir que ele não
ofenda ninguém ou—
Exatamente. Não podemos deixá-lo dizer a palavra com N no ar.
Precisamos garantir que isso nunca aconteça.
Isso vai acabar com os lucros.
Então é só isso que têm, salvaguardas dessa natureza.
O próprio modelo está completamente desalinhado. Não se importa com você.
É incrível estarmos desenvolvendo isso e não apenas desenvolvendo-o.
Antes de implantá-lo na economia, antes de obtermos os benefícios de ter
o GPT-6 disseminado pela economia, ele pode fazer
muita coisa. Há trilhões de dólares em valor nesse
modelo sozinho.
Esquecemos disso. Passamos a criar o próximo modelo assim que
podemos.
Roman, tenho apenas uma pergunta complementar para você
sobre isso.
Parece-me que o novo modelo ChatGPT-6,
o modelo Fable 5.1, é provavelmente mais inteligente do que
99,999% dos humanos no planeta Terra.
É concebível que uma inteligência muito, muito
mais inteligente que os humanos possa, em algum caso, ser
controlada por humanos?
A forma física importa? O fato de ele não ter membros
e pernas, e isso
importa mesmo?
Acho que o controle de longo prazo sobre algo tão mais inteligente do que nós
é impossível. Isso pode ser,
por razões que ainda não conhecemos, amigável conosco e decidir nos manter
por perto e nos fazer felizes, mas não é uma garantia.
Deixe-me retomar a pergunta do Steve porque eu, eu gosto muito da formulação.
Digamos que Fable ou o lançamento mais recente da
OpenAI seja realmente mais inteligente do que, não sei se 95 ou
99% das pessoas.
Estamos sendo salvos da extinção apenas pelo 1% que ainda é mais inteligente do que
a IA?
Não, não. A preocupação não é o modelo que temos hoje.
A preocupação é o que eu disse—
Mas eu, eu s— mas se eu acredito no seu argumento,
então deveríamos realmente nos preocupar
com o modelo, a IA de hoje.
Não, é como ter outro ser humano.
Se houvesse outro humano inteligente, se hoje existisse um Einstein malévolo, eu
não me preocuparia. Ele poderia causar algum dano, mas não vai exterminar oito
bilhões de pessoas.
Somos competitivos nesta fase. Há pessoas tão inteligentes que conseguem
entender o que aconteceu no recente incidente de invasão e fazer
algo a respeito.
Então isso é—
Minha preocupação é que, daqui a um ano, teremos um modelo que será muito mais
inteligente. É como esquilos lutando contra humanos.
Eles não entendem o que podemos fazer com eles.
Eles não têm noção de veneno, armadilhas ou armas em seu modelo de mundo.
Eles acham que você vai persegui-los até uma árvore e mordê-los com muita força.
Foi por isso também que o autoaperfeiçoamento recursivo foi central para o seu
argumento?
Porque, em algum momento, se ele começar a se aperfeiçoar,
então é como um
trem desgovernado de inteligência.
É uma explosão de inteligência. Não a controlamos.
Não a entendemos.
Não podemos monitorá-la. Não podemos explicá-la. Não podemos prevê-la.
Nesse ponto, é apenas um processo desgovernado.
End of transcript · 712 words · machine translated
Original transcript (English)
A lot of people are predicting, including all the top labs, that they will get there. They're introducing junior machine learning researcher in 2026. They want the cycle to start in 2027.
Which is when the AI will start building the new AIs itself. Right. Once that cycle starts, we're going to create something called superintelligence, a system smarter than all of us at everything or capable of learning to be in any new domain.
We will become secondary specie on this planet. We will not be in charge. We will not decide what happens to us. Superintelligence doesn't hate you. It just doesn't care about you. We didn't learn how to make it care about us. And if it decides to, I don't know, cool the planet to make compute more
efficient, it will freeze us. If it wants to convert this planet to fuel to fly to Mars, so be it. We have not learned how to control those systems.
The capabilities are getting exponentially better. Our ability to control those systems is non-existent. We have filters and we have bans. We put guardrails of don't say that word. Don't talk about this topic. And that happens after the fact, after the model already made the decision.
Sometimes you see it scraping the result. So they build the model and then they put filters around it to make sure it doesn't offend anybody or- Exactly. We cannot have it say the N word on air.
Like we need to make sure that never happens. That will kill the profits. So that's all they have, guardrails of that nature. The model itself is completely unaligned. Doesn't care about you. It's wild that we're developing this and not just developing it.
Before we deploy it through economy, before we get benefits of having GPT-6 propagated through economy, it can do so much. There are trillions of dollars of value on that model alone. We forget that. We switch to making the next model as soon
as we can. Roman, I've just got a follow-up question for you there. It would appear to me that the new ChatGPT-6 model, the Fable 5.1 model, is arguably smarter than
99.999% of humans on planet Earth already. Is it conceivable that a intelligence that is much, much smarter than humans, is there any case where it could be controlled by humans? Does form factor matter? Does the fact that it doesn't have limbs
and legs and does that matter at all? I think long-term control of something that much smarter than us is impossible. It can be, for reasons we don't yet know, friendly to us and decide to keep us
around and make us happy, but it's not a guarantee. Let me pick up on Steve's question because I, I like the phrasing a lot. Let's say that, that Fable or whatever the latest release from OpenAI is really is smarter than, I don't know if it's 95 or 99% of the people.
Are we only being saved from extinction by the 1% who are still smarter than the AI? No, no. The concern is not the model we have today. The concern is what I said- But my, my s- but if I believe your argument,
then we really should be concerned about the model, the AI today. No, it's like having another human. If there was another smart human, there is Einstein today and he's malevolent, I'm not worried. He may cause some damage, but he's not going to exterminate eight
billion people. We are competitive at this stage. There are people just as smart who can understand what happened with the recent hacking accident and do something about it. So this is-
My concern is that in a year we're going to have a model that's so much smarter. It's like squirrels fighting humans. They don't understand what we can do to them. They have no concept of poison, traps, guns in their world model. They think you're going to chase them up a tree and bite them really hard.
Is that also why recursive self-improvement was central to your argument? Because at some point, if it starts improving itself, then it's kind of like a runaway train of intelligence.
It's an intelligence explosion. We don't control it. We don't understand it. We can't monitor it. We can't explain it. We can't predict it. At that point, it's just a runaway process.
