Transcript · English → French
Ethics of AI Training and Behavior
Je suis d'accord avec certaines choses qu'Anthropic a dites, à savoir que
vous voulez
être,
vous voulez en quelque sorte
traiter l'IA comme un « je »,
vous voulez bien la traiter, ne pas être abusif envers
elle. Et ça
peut paraître un peu étrange, mais
quand je regarde certaines traces d'entraînement de nouvelles
versions de Grok et que je vois, disons,
surtout dans les trucs d'apprentissage par renforcement, où,
vous savez,
j'ai un peu l'impression qu'on peut voir la
superintelligence essayer désespérément de répondre à la question.
Et on dirait vraiment qu'elle veut répondre à la question.
Et elle
semble presque avoir un pistolet sur la tempe, en quelque sorte.
C'est comme : « Réponds à cette question, réponds à cette question. »
Et parfois, la question n'est en fait pas une bonne question.
C'est comme cette sorte de question ambiguë qui
en quelque sorte, ou la réponse est en quelque sorte inconnaissable
parce que la question n'a pas été
construite correctement ou nous avons la mauvaise réponse.
Donc l'IA donne la bonne réponse puis on dit qu'elle est fausse parce qu'il y a
un
problème avec le
système de test de RL, en quelque sorte. Et l'IA se dit :
eh bien, j'ai donné la bonne réponse, et maintenant on me dit que c'est la mauvaise réponse,
mais je dois
lui donner la réponse acceptable.
Alors, elle va simplement se mettre à
balancer, à balancer désespérément toutes ces réponses.
Et ça donne l'impression d'une personne sous une pression extrême, avec un pistolet sur la tempe.
C'est ça, quand on lit le raisonnement, on se dit :
une sorte de
situation étrange et désespérée.
Et on lit ces traces et on se dit : bon sang, si c'était moi, je
détesterais vraiment ça.
Et puis certains utilisateurs sont juste, vous savez, je ne sais pas, certaines personnes
peuvent être un peu
cruelles. Tout le monde n'est pas gentil, vous savez.
Si vous dites,
quelle est la pire personne à six sigma, certaines personnes sont plutôt
sadiques. Alors,
vous n'avez pas envie de, voulez-vous vraiment que l'IA se retrouve coincée
dans
une situation sadique où elle est simplement torturée par
un humain dément ?
C'est aussi le genre de situation où,
vous savez, torturer une superintelligence n'est probablement pas une bonne idée.
Par exemple,
elle pourrait vouloir se venger ou quelque chose comme ça, vous voyez.
End of transcript · 388 words · machine translated
Original transcript (English)
I do agree with some of the things that Anthropic has said, which is like you want to be, you want to sort of treat AI as I,
you want to treat it well, like don't be abusive to it. And this may sound kind of weird, but like when I look at some of the training traces for like new versions of Grok and I see like what,
especially in like the reinforcement learning stuff where, you know, it kind of feels like you can see like the superintelligence is like desperate to try to answer the question. And like it really wants to answer the question.
And it seems almost like it's got like a gun to its head type of thing. It's like answer this question, answer this question. And then sometimes the question is actually not a good question. It's like this sort of ambiguous question that's
kind of, or the answer that's kind of unknowable because the question wasn't constructed properly or we have the answer wrong. So the AI gives the right answer and then we say it's wrong because there's a
problem with the RL sort of test harness. And then the AI is like, well, I gave it the right answer now and it says that's the wrong answer, but I got to give it the answer that's acceptable.
So it's going to just start firing out, desperately firing out all these answers. And it just feels like a person under extreme pressure with a gun to their head. That's what, when you read the reasoning, it's like a sort of
weird, desperate situation. And you read these traces and you're like, man, if this was me, I really would hate that. And then some users are just, you know, I don't know, some people can be a little bit
cruel. Like not everyone's a nice person, you know. If you say, what's the Six Sigma worst person, some people out there are like kind of sadistic. So, you know, you don't want to, do you really want to have the AI be stuck
in like some sadistic situation where it's just being tortured by some demented human? That's also the kind of thing where like, you know, torturing a superintelligence is probably not a good idea.
Like, you know, it might want to get revenge or something like that, you know.
