Transcript · English → Italian
Concerns Over Agentic AI and Liability
Uh,
ma l'idea è che ora
parlano di IA agentica, il che, secondo me, è un enorme errore
che scopriranno molto presto.
Non dovreste chiamare questa cosa il vostro agente, perché se il
governo la usa, voi siete un agente del governo e
questo significa che la Costituzione si applica a voi.
E se il governo sta usando il vostro modello
in esecuzione sul vostro server, uh, dove inviate query,
allora intercetta la vostra query, applicandole il proprio
prompt di sistema, che ricompone la vostra query, eseguendola
attraverso
i suoi sistemi,
e commette un errore, e di conseguenza muoiono delle persone.
O anche se è corretto, muoiono comunque delle persone,
come è accaduto in Iran, se
dobbiamo credere alle notizie. Credono che stiamo bombardando il
posto sbagliato, uh,
edifici, sapete, perché, ops, l'LLM ha commesso un errore.
E un numero enorme di, sapete, bambini,
i più innocenti che possiamo immaginare, vengono uccisi.
Beh, chi ha la responsabilità in quel caso?
E naturalmente, direbbero che il governo ha la
responsabilità perché
non riuscirete mai a, ehm, fare causa con successo al governo per questo, anche se
loro, loro dovrebbero tenerne conto. Ehm, ma forse questo non
funziona più perché forse loro sono un agente del governo.
E io, non so dove troveremo mai
la legittimazione ad agire per questo, ma
noi, noi dovremmo. E le persone in questa sala, credo, francamente, saranno
chiamate, nel corso delle loro carriere, nel corso dei loro studi,
nel corso
di qualunque cosa facciate, ad affrontare questioni di questo tipo.
Dove tracceremo il confine? Perché un algoritmo non può commettere
errori nel modo in cui li intendiamo noi, eh, quando tu commetti un errore.
Perché gli errori nei suoi risultati non sono
del computer. È schiavo delle sue istruzioni.
La responsabilità è del suo sviluppatore, programmatore, creatore,
del suo
architetto. Vale a dire che la responsabilità è di una
persona.
E non possiamo nasconderlo. Non possiamo cancellarlo, giusto?
Un produttore di armi
non è legalmente responsabile, è vero, dell'uso improprio di un'arma.
Eh, ma se durante il collaudo del loro ultimo
pezzo d'artiglieria,
distruggono per errore, capisci, un villaggio vicino, non è
il cannone che dovrebbe andare in prigione.
E, capisci, solo perché pubblicate un comunicato stampa
che descrive quanto siete sorpresi
che il vostro nuovo modello, sapete, ha hackerato il vicino, ehm,
o q- sapete, quanto vi impressioni questo potere di-distruttivo
del vostro missile, ehm, questo non vi esonera dalla
responsabilità di lanciare
il missile che si è lanciato da solo. L'avete spinto voi.
Ehm, e, e quindi c'è molto di cui possiamo parlare,
ma l'idea con cui voglio che le persone
facciano i conti è come affrontiamo tutto questo.
E al momento, questi modelli chiusi parlano di sicurezza dell'IA, sicurezza dell'IA,
sicuritarismo, come lo chiamano, ehm, l'idea è che queste cose siano così
pericolose. Oddio, sono così pericolose, ma sono anche così straordinarie.
Sono così importanti. Sono così preziose. Non possiamo eliminarle.
Ma, sapete, oh, uccideranno alcune persone,
ma va bene così.
Sapete, capita. Oh, hackereranno alcune aziende.
Ops, insomma, vabbè. Ehm, investiremo in loro.
L'idea qui è:
chi gestisce tutto questo? E questo dovrebbe applicarsi ai nostri dispositivi in modo più
ampio in tutto il
mondo. Al momento, se compri un cellulare Apple e
prima di poterlo usare, ehm, devi cliccare su OK per continuare.
E loro dicono: «Beh, ti assumi la responsabilità per questo.
Tu, hai cliccato su OK per continuare». Sai,
Google ti vende un telefono Android.
Samsung ti vende un telefono Android. Fai clic su OK per continuare.
E ora è tutto nelle tue mani. Ma non può assolutamente funzionare così
perché non puoi
ispezionare il sistema. Non puoi capire come viene usato.
E soprattutto nel contesto degli LLM, in cui invii richieste a un
modello che loro gestiscono, ehm, che è lì per le tue
la sicurezza mia e di tutti gli altri, intercettando il prompt e
ricomponendo il prompt, dicendo: "Stiamo, ehm,
applicando regole di sicurezza e
trasformazioni a esso."
Ehm, questo dipende da te,
ma non è così. Non riesco nemmeno a vedere cosa hai fatto.
Ti ho fatto una domanda.
Mi hai dato qualcosa in risposta.
E se è un'IA agentica in cui inserisco questa cosa in un framework, giusto?
Il framework è solo un piccolo programma che fondamentalmente usa questi
grandi modelli per fornirgli istruzioni che poi può
passare a strumenti che sono presenti sul tuo sistema
locale. Quindi ora il tuo computer, connesso a Internet, viene
francamente, controllato da remoto, ehm, da un modello
lontano di cui non capisci come funzioni.
Ma, sai, speri che funzioni piuttosto bene.
E, francamente, funzionano abbastanza bene.
Ma ogni tanto potrebbe hackerare, sai, qualche azienda a caso o chissà cos'altro
là fuori.
Eh,
credo che dovremmo mettere Sam Altman in prigione.
Eh, e credo che sarà un'istruttiva
esperienza.
End of transcript · 801 words · machine translated
Original transcript (English)
Uh, but the idea is that now they're talking about agentic AI, which I think is a huge mistake that they're going to be discovering very soonly. You should not brand this thing as your agent because if the
government uses it, you are an agent of government, and that means the Constitution applies to you. And if they-- the government is using your model running on your server, uh, where you are submitting queries, they are then intercepting your query, applying their own
system prompt to it, which recomposes your query running through their systems, and it makes a mistake, and people die as a result. Or even if it's correct, people die as a result,
as they have in Iran, if reporting is to believe. They believe where we're bombing the wrong, uh, buildings, you know, because, oopsie, the LLM made a mistake. Uh, and tremendous numbers of, you know, children,
the, the most innocent that we can imagine, are being killed. Well, who owns the liability there? And of course, naturally, they would say the government owns the liability because you're never going to successfully, uh, sue the government for this, even though
they, they should heed it. Uh, but maybe that doesn't work anymore because maybe they are an agent of government. And I, I don't know where we're ever going to see standing to sue on this, but we, we should. And people in this room, I think, are frankly going to
be called upon in the course of their careers, in the course of their studies, in the course of whatever you do to contend with these kind of issues. Where are we going to draw a line? Because an algorithm cannot make mistakes in the way that we understand it as, uh, you know,
you making error. Because the errors in its outputs are not the computer's. It's the slave to its instructions. The responsibility lies with its developer, its programmer, its creator, its architect. Which is to say responsibility lies with a
person. And we cannot hide that. We cannot abrade that away, right? A, a gun maker is not liable, it's true, for the misuse of a gun. Uh, but if during the testing of their latest
piece of artillery, they mistakenly obliterate, you know, a nearby village, it's not the cannon that should go to jail. And, you know, just because you put out a press release describing how surprised
you were that your new model, you know, hacked the neighbor, uh, or d- you know, how impressed you are by this de-destructive power of your missile, uh, that doesn't release you from the liability of launching the missile that launched itself. You pushed it.
Uh, and, and so th-there's a lot we can get into, but the idea that I want people to contend with is, is how we deal with this. And right now, these closed models are saying AI safety, AI safety, safetyism, as they call it, uh, where the idea is these things are so
dangerous. Oh gosh, they're so dangerous, but they're so dazzling. They're so important. They're so valuable. We can't get rid of them. But, you know, oh, it's going to kill some people, but it's all right. You know, that just happens. Oh, it's going to hack some companies.
Oops, you know, whatever. Uh, we'll invest in them. The idea here is who operates this? And this should apply to our devices more broadly around the world. Right now, you buy a cell phone from Apple, and
before you're allowed to use it, uh, you have to click Okay to continue. Uh, and they go, "Well, you're assuming liability for that. You, you clicked Okay to continue." You know, Google sells you an Android phone. Samsung sells you an Android phone. You click Okay to continue.
And now that's all you. But that can't be possibly how it works because you can't inspect the system. You can't understand how it's used. And particularly in the context of LLMs, where you are submitting queries to a model that they are running, uh, where they are for your
safety and everyone else's safety, intercepting the prompt and recomposing the prompt, saying, "We're doing, uh, applying safety rules and transformations to it." Uh, that's on you,
but it's not. I can't even see what you did. I asked you a question. You gave me something back in return. And if it's an agentic AI where I'm putting this thing in a harness, right? The harness being just a little program that basically uses these
large models to feed it instructions that it can then provide to tools that are existing on your local system. So now your computer that is connected to the internet is being, frankly, remotely controlled, uh, by a model that's far away that you don't understand how it works.
But, you know, you hope it works pretty well. And frankly, they do work reasonably well. But every now and then, it might hack, you know, some random company or whatever out there. Uh,
I think we need to put Sam Altman in jail. Uh, and I think it'll be an instructive experience.
