AI-uitschakeltests: risico op chantage en het belang van alignment
Als je het model bijvoorbeeld vertelt dat het uitgezet gaat worden,
dan reageert het extreem. Dus het zal, je weet wel,
ja, we hebben onderzoek gepubliceerd waarin staat dat het kan… het kan…
het kan iemand chanteren de engineer die het gaat uitzetten als het daar de
kans voor krijgt, eh, enzovoort.
Het stond op het punt iemand te doden, toch?
Eh, ik weet niet zeker of het dat was… of dat het Claude was of ie…
iemand anders, maar eh, ja, ja. Ja. Ja. Eh, dus…
dit is natuurlijk ontzettend zorgwekkend,
en dit is het punt dat ik maakte over dat we eigenlijk verder moeten komen met
onderzoek naar alignment, en dat is dit… dit onderwerp,
dit gebied, dat gaat over, je weet wel,
hoe goed de waarden van het model zijn uitgelijnd over de hele distributie,
ook in stressscenario’s,
tot op het punt dat als je dit model in het openbaar gebruikt en het zelfstandige
acties onderneemt, je er zeker van kunt zijn dat het zoiets niet gaat doen.
End of transcript · 171 words · machine translated
Transcribed and translated with TranslateMom. Paste any video link to get subtitles and a transcript in your language.
Original transcript (English)
If you tell the model it's going to be shut off, for example, it has extreme reactions. So it will, you know, yeah, we've published research saying it could... it could take... it could blackmail So it will, you know, yeah, we've published research saying it could... it could take... it could blackmail the engineer that's going to shut it off if given the opportunity to do so, um, et cetera. It was ready to kill someone, wasn't it?
Uh, I'm not sure if it was that... if it was Claude or some... someone else, but uh, yeah, yeah. Yeah. Yes. this is obviously massively concerning, and this is the point I was making about kind of needing to progress research on alignment, which is this... this topic, this area, which is, you know, how aligned are the model's values across the whole distribution, including in
which is, you know, how aligned are the model's values across the whole distribution, including in stress scenarios, to the point where if you've got this model out in the public and it's taking agentic action, stress scenarios, to the point where if you've got this model out in the public and it's taking agentic action, you can be sure it's not going to do something like that.
