Transcript · English → Portuguese
Liability and Responsibility in AI Development
Quem assume a responsabilidade nisso?
E, claro, naturalmente, eles diriam que o governo tem a
responsabilidade porque
você nunca vai conseguir, ah, processar o governo por isso, embora
eles, eles devessem arcar com isso. Ah, mas talvez isso não
funcione mais, porque talvez eles sejam um agente do governo.
E eu, não sei de onde vamos tirar
legitimidade para processar por isso, mas nós,
nós deveríamos. E as pessoas nesta sala, acho que, francamente, serão
chamadas, ao longo de suas carreiras, ao longo de seus estudos,
ao longo
do que quer que façam, a lidar com esse tipo de questão.
Onde vamos traçar uma linha? Porque um algoritmo não pode cometer
erros da forma como entendemos isso, ah, sabe,
vocês cometerem um erro. Porque os erros em seus resultados são
não é culpa do computador. Ele é escravo de suas instruções.
A responsabilidade é do seu desenvolvedor, programador, criador,
seu
arquiteto. Ou seja, a responsabilidade é de uma pessoa.
E não podemos esconder isso. Não podemos apagar isso, certo?
Um fabricante de armas
não é responsável, é verdade, pelo uso indevido da arma.
É... mas se, durante o teste de seu mais recente
equipamento de artilharia, eles
obliteram por engano, sabe, uma aldeia próxima, não é
o canhão que deveria ir para a cadeia.
E, sabe, só porque você divulga um comunicado à imprensa
descrevendo o quanto ficou surpreso
que seu novo modelo, sabe, invadiu os sistemas do vizinho, é...
ou c- sabe, o quanto está impressionado com este p- poder destrutivo
do seu míssil, é... isso não o isenta da
responsabilidade de lançá-lo
isso. O míssil não se lançou sozinho. Você o lançou.
Ah, e então... há muita coisa que podemos abordar,
mas a ideia com a qual quero que as pessoas
lidem é, ah, como lidamos com isso.
E, neste momento, esses modelos fechados falam de segurança da IA, segurança da IA,
segurança, ou “segurancismo”, como chamam, ah, em que a ideia é que essas coisas são tão
perigosas. Meu Deus, são tão perigosas, mas são tão deslumbrantes.
São tão importantes. São tão valiosas. Não podemos nos livrar delas.
Mas, sabe, ah, elas vão matar algumas pessoas,
mas tudo bem.
Sabe, isso simplesmente acontece. Ah, elas vão invadir algumas empresas.
Ops, sabe, tanto faz. Ah, vamos investir nelas.
A questão aqui é:
quem opera isso? E isso deveria se aplicar de forma mais ampla aos nossos dispositivos
ao redor do
mundo. Neste momento, você compra um celular da Apple, e
antes de poder usá-lo, hum, você precisa clicar em OK para continuar.
E eles dizem: "Bem, você está assumindo a responsabilidade por isso.
Você, você clicou em OK para continuar." Sabe,
o Google vende a você um celular Android.
A Samsung vende a você um celular Android.
Você clica em OK para continuar, e agora a responsabilidade é toda sua.
Mas não é possível que funcione assim porque você não pode inspecionar o
sistema. Você não consegue entender como ele é usado,
especialmente no contexto de
LLMs, em que você envia consultas a um modelo
que eles operam, hum,
em que eles, para a sua segurança e a segurança de todos,
interceptam o prompt e recompõem o prompt, dizendo:
"Estamos, hum,
aplicando regras de segurança e transformações a ele."
Hum, a responsabilidade é sua,
mas não é. Nem consigo ver o que vocês fizeram.
Eu lhe fiz uma pergunta.
Você me devolveu algo em troca.
E, se for uma IA agêntica, em que coloco essa coisa num arcabouço,
certo?
O arcabouço é só um pequeno programa que basicamente usa esses
grandes modelos para lhe dar instruções que ele pode então
fornecer a ferramentas que existem no seu sistema local.
Então agora seu computador, que está conectado à
internet, está sendo, francamente, controlado remotamente, ah, por um modelo
que está longe e você não entende como ele funciona.
Mas, sabe, você espera que ele funcione muito bem.
E, francamente, eles funcionam razoavelmente bem.
Mas, de vez em quando, ele pode invadir, sabe, alguma empresa aleatória ou algo assim
por aí.
Ah,
Acho que precisamos prender Sam Altman, ah, e acho que será uma
experiência instrutiva.
End of transcript · 688 words · machine translated
Original transcript (English)
Who owns the liability there? And of course, naturally, they would say the government owns the liability because you're never going to successfully, uh, sue the government for this, even though they, they should eat it. Uh, but maybe that doesn't
work anymore because maybe they are an agent of government. And I, I don't know where we're ever gonna see standing to sue on this, but we, we should. And people in this room, I think, are frankly going to be called upon in the course of their careers, in the course of their studies,
in the course of whatever you do, to contend with these kind of issues. Where are we gonna draw a line? Because an algorithm cannot make mistakes in the way that we understand it as, uh, you know, you making an error. Because the errors in its outputs are
not the computer's fault. It's the slave to its instructions. The responsibility lies with its developer, its programmer, its creator, its architect. Which is to say, responsibility lies with a person. And we cannot hide that. We cannot abrade that away, right?
A, a gun maker is not liable, it's true, for the misuse of the gun. Uh, but if during the testing of their latest piece of artillery, they mistakenly obliterate, you know, a nearby village, it's
not the cannon that should go to jail. And, you know, just because you put out a press release describing how surprised you were that your new model, you know, hacked the neighbor, uh, or d- you know, how impressed you are by this tr- destructive
power of your missile, uh, that doesn't release you from the liability of launching it. The missile didn't launch itself. You launched it. Uh, and, and so th- there's a lot we can get into, but the idea that I want people
to, uh, contend with is, is how we deal with this. And right now, these closed models are saying AI safety, AI safety, safetyism, as they call it, uh, where the idea is these things are so dangerous. Oh gosh, they're so dangerous, but they're so dazzling. They're so important. They're so valuable. We can't get rid of them.
But, you know, oh, it's gonna kill some people, but it's all right. You know, that just happens. Oh, it's gonna hack some companies. Oops, you know, whatever. Uh, we'll invest in them. The idea here is
who operates this? And this should apply to our devices more broadly around the world. Right now, you buy a cell phone from Apple, and before you're allowed to use it, uh, you have to click okay to continue. Uh, and they go, "Well, you're assuming liability for that.
You, you clicked okay to continue." You know, Google sells you an Android phone. Samsung sells you an Android phone. You click okay to continue, and now that's all you. But that can't be possibly how it works because you can't inspect the
system. You can't understand how it's used, and particularly in the context of LLMs, where you're submitting queries to a model that they are running, uh, where they are for your safety and everyone else's safety,
intercepting the prompt and recomposing the prompt, saying, "We're doing, uh, applying safety rules and transformations to it." Uh, that's on you, but it's not. I can't even see what you did.
I asked you a question. You gave me something back in return. And if it's an agentic AI, where I'm putting this thing in a harness, right? The harness being just a little program that basically uses these
large models to feed it instructions that it can then provide to tools that are existing on your local system. So now your computer that is connected to the internet is being, frankly, remotely controlled, uh, by a model that's far away that you don't understand how it works.
But, you know, you hope it works pretty well. And frankly, they do work reasonably well. But every now and then, it might hack, you know, some random company or whatever out there. Uh,
I think we need to put Sam Altman in jail, uh, and I think it'll be an instructive experience.
