Transcript · English → Portuguese
AI Alignment and Oversight Challenges
Isso é, aliás, é… acho que você explica isso muito bem.
Outra forma de que gosto de pensar nisso é como o gênio que, tipo,
sabe, realiza seu desejo, mas de um jeito exatamente errado.
É.
Tipo, quero viver para sempre e aí ele prende você em alguma—
É.
situação meio horrível pela eternidade.
Isso é, de c— como você mencionou, tipo, de certa forma, o grande problema.
Tipo, como garantimos que esses modelos, hum, estejam alinhados no futuro?
E há várias abordagens que, hum,
achamos que podem funcionar. Isso é, acho, uma das questões mais
em aberto cientificamente na IA.
De modo geral, acho que ninguém sabe exatamente como
resolver este problema,
mas há algumas ideias. Então, uma delas é este, hum,
conceito de, hum, supervisão escalável.
Então, a ideia é mais ou menos a seguinte.
À medida que temos IAs cada vez mais inteligentes,
enquanto as IAs forem mais ou menos tão inteligentes quanto nós,
podemos meio que ver o que estão fazendo e dizer: "Ei,
isso está um pouco
errado." E então podemos exercer o que se chama de supervisão.
Podemos observar o que as IAs estão fazendo e garantir
que o que elas estão
fazendo seja apropriado. O problema é quando as IAs
ficam muito mais inteligentes do que nós, e nós
meio que olhamos o que estão fazendo e é simplesmente
muito confuso para nós.
Como lidamos com essa situação?
End of transcript · 235 words · machine translated
Original transcript (English)
This is, by the way, yeah, I think you articulate it really well. Another way that I like to think about this is, like, the genie that, like, you know, grants your wish, but in, like, the exact wrong way. Yeah. Like, I wanna live forever, and then, like, traps you in some-
Yeah ... kind of, like, horrible situation for eternity. This is like in s- as you mentioned, like, in some ways, the big problem. Like, how do we make sure these models, um, are aligned going into the future? And there's a bunch of approaches that, uh,
we think may work. This is, I think, one of the most open questions scientifically in AI. Generally speaking, I think nobody knows exactly the way to solve this problem, but there's a few ideas. So one idea is this, um,
concept of, uh, what's called scalable oversight. So the, the idea goes something like this. So as you have smarter and smarter AIs, as long as the AIs are roughly as smart as we are, we can kind of see what they're doing, and we can tell, like, "Hey,
that's a little bit off." And so we can, what's called provide oversight. Like, we can look at what the AIs are doing and, and make sure that what they're doing is, is appropriate. The problem is when the AIs
get a lot smarter than we are, and we kind of look at what they're doing, and it's just, like, really confusing to us. Like, how do we deal with that situation?
