Amenazas de apagado, chantaje e investigación sobre alineación de IA
si le dices al modelo que lo van a apagar, por ejemplo, tiene reacciones extremas.
Entonces, ya sabes,
sí, hemos publicado investigaciones diciendo que podría, podría, podría chantajear,
eh, al ingeniero que va a apagarlo si se le diera la oportunidad de hacerlo,
eh, etcétera.
Eh— Estaba listo para matar a alguien,¿ no? No estoy seguro de si eso,
si era Claude o alguien más, pero sí, sí. Sí.
Eh, así que esto es obviamente enormemente preocupante y este es el
punto que estaba señalando sobre la necesidad de avanzar en la investigación sobre
alineación, que es este tema, esta área, que es,
ya sabes, cuán alineados están los valores del modelo en toda la distribución,
incluso en escenarios de estrés,
hasta el punto en que si tienes este modelo ahí fuera en el público y está tomando
acciones agénticas, puedes estar seguro de que no va a hacer algo así.
End of transcript · 151 words · machine translated
Transcrito y traducido con TranslateMom. Pega el enlace de cualquier video para obtener subtítulos y una transcripción en tu idioma.
Original transcript (English)
if you tell the model it's going to be shut off, for example, it has extreme reactions. So it will, you know, yeah, we've published research saying it could it could take it could blackmail, So it will, you know, yeah, we've published research saying it could it could take it could blackmail, um, the engineer that's going to shut it off if given the opportunity to do so, um, etcetera. Um— It was ready to kill someone, wasn't it?
Um— It was ready to kill someone, wasn't it? I'm not sure if that if it was Claude or some someone else, but yeah, yeah. Yes. Um, so this is obviously massively concerning and this is the point I was making about which is, you know, how aligned are the model's values across the whole distribution, including in stress scenarios, to the point where if you've got this model
