Transcript · French → English
Understanding Large Language Models
With
millions, hundreds of millions, billions, hundreds of billions,
it can go up to,
up to a trillion
uh, parameters.
And in fact, these, these systems can store an amount
of information
that is absolutely gigantic and thus accumulate, in fact, uh, a little, uh,
the entirety of, of human knowledge.
Not exactly, but somewhat. So actually,
the way it is trained is
a little smarter than that. That is,
we take a long sequence of
words.
And we do not train just one copy of this network, but
as many copies as there are windows over the input.
Okay? So we run
one, a large number of copies of this, of this network, each of which is applied to a
a different window, and each is trained to reproduce, um,
its input at its output. In fact, we can see this as what we call an,
an,
an autoencoder, that is,
um, we have the input sequence here, the same sequence up here
and we simply train this network to learn the identity function.
It seems stupid.
Why train a network with billions, hundreds of billions of
parameters
simply to learn the identity function?
But we, but actually, we, we train it to, to
calculate the identity function. It just can only look at a window
of words,
um, a particular one, to calculate the next, um,
output. And it can't look at the corresponding input.
So, it, it can't
So, it, it can't
find a trivial solution that would simply consist of copying its
input to
output. It is actually forced to,
to, to, to predict. Okay
? So, uh, why do these things work?
Why can we make GPT chats with them? Well, for two reasons.
The first is that we can train, we can put a lot, a lot of
parameters in there and train these systems to,
to,
to predict the next word from a very large amount of
training data, uh, where also the
context window the system can look at can correspond to
one hundred thousand words or maybe a million if we, if we can make it work.
Uh, and we typically train with, uh,
on the order of,
uh,
three
times ten to the power of
twelve
words or tokens. They're like words.
Okay
So that's starting to add up.
Uh, actually,
it's even
thirty times ten to the twelfth power.
Thirty, uh, I don't know what you call ten to the
twelfth power.
Uh, each token is represented in, in about three bytes.
So in the end, it comes to, uh,
0.9 times ten to the fourteenth bytes
of training data. That, that corresponds to all the text
available
publicly on the Internet and, uh, other, other
data. Uh, it would take each and every one of us here
on the order
of 400,000 years
to read it.
Reading, uh, more than twelve hours a day.
Okay.
So it's huge. And, what the system does,
is learn a kind
of compressed version of pretty much all that, if you like.
So there's still a key problem with it: there's no real
reasoning ability in a system like this.
It only predicts the next word, then there's the hallucination problem, uh,
as we've talked about a lot. Now compare that.
So now, I'm going to, I'm going to get to the, the limitations,
uh, of systems
currently in use.
Uh, these systems don't understand
worlds, the physical world,
they have no persistent memory, they don't really have the ability to
reason. People are trying to fix that, but
it doesn't work very well. And certainly no ability to
plan,
uh, unless they're systematically trained, in
fact, with tons
of examples.
So, a, a, a, all the money that's being spent right now
on
AI is for two things. One, the computing infrastructure needed to
train
and above all to run those things.
But also, uh, the, the phase of what we call post-
training,
that is, uh, fine-tuning the, the system to, uh, make it
perform tasks like answering frequently asked questions,
uh, retrieving information using a
search engine to incorporate it into
the answer, uh, etc. And making sure it isn't
completely toxic,
etc. So there's a whole lot of effort, actually,
that is, that is dedicated to that, uh,
in there. But now, let's compare that with
a four-year-old child.
A four-year-old child,
uh, has been awake for a total of around six
thousand hours—sixteen thousand hours.
The information that, uh, gets to the, gets to our visual cortex,
Uh, in those 16,000 hours,
uh,
an enormous amount of information reaches the retina.
We have 60 million, uh, receptors, 60 million pixels per eye,
if you like.
Uh,
but in fact, all of that is compressed to pass through the optic nerve.
The optic nerve only has one million, nerve fibers that reach the
brain,
uh, per eye. And each n-nerve fiber, uh, can, uh, transmit
about one megabyte per second. Okay?
So
our brain receives about two mega-, two megabytes per second.
Multiply that by 16,000 hours, 3,600, uh,
seconds per hour, and we get about
ten to the fourteenth power bytes.
So a four-year-old child has seen as much data through vision
that the largest current LLMs are trained on the entirety
of all text, uh, publicly available on the Internet.
So that tells you two things: we won't get
a system with human-level or
superhuman intelligence
simply by training on text. It can't happen.
There are people who will tell you that, next year, we'll have systems
superintelligent, as good as a PhD student, uh, etc.
That's false. That's false. Okay?
So,
how do we do that?
That's the subject
of
End of transcript · 964 words · machine translated
Original transcript (French)
Avec des millions, des centaines de millions, des milliards, des centaines de milliards, ça peut aller jusqu'à, jusqu'aux mille milliards, euh, de paramètres.
Et en fait, ces, ces systèmes peuvent stocker une quantité d'informations absolument gigantesque et donc accumuler en fait, euh, un petit peu, euh, la totalité de la, de la connaissance humaine. Pas exactement, mais un peu. Alors en fait,
la manière dont c'est entraîné, c'est un petit peu plus futé que ça. C'est-à-dire que, on prend une longue séquence de mots. Et on n'entraîne pas une seule copie de ce réseau, mais
autant de copies qu'on a de fenêtres sur l'entrée. D'accord ? Donc on fait tourner une, un grand nombre de copies de ce, de ce réseau qui chacun est appliqué à une fenêtre différente et chacun est entraîné à reproduire, euh, son entrée sur sa sortie. En fait, on peut voir ça comme ce qu'on appelle un,
un, un auto encodeur, c'est-à-dire que, euh, on a la séquence d'entrée ici, la même séquence ici en, en haut et on entraîne simplement ce réseau à apprendre la fonction identité. Ça paraît stupide.
Pourquoi entraîner un réseau avec des milliards, des centaines de milliards de paramètres à apprendre simplement la fonction identité ? Mais on, mais en, en, en fait, on lui, on l'entraîne à, à calculer la fonction identité. Simplement, il ne peut regarder qu'une fenêtre
de mots, euh, particulière pour calculer la sortie, euh, suivante. Et il ne peut pas regarder l'entrée correspondante. Donc, il, il peut pas
trouver une solution triviale qui consisterait simplement à copier son entrée sur sa sortie. Il est obligé en fait de, de, de, de prédire. D'accord ? Alors, euh, pourquoi ça marche, ces trucs-là ?
Pourquoi on arrive à faire des chats GPT avec ? Alors, pour deux raisons. La première, c'est que on peut entraîner, on peut mettre beaucoup beaucoup de paramètres là-dedans et entraîner ces systèmes à, à, à prédire le mot suivant à partir d'une très grande quantité de,
de données d'apprentissage, euh, où aussi la fenêtre de contexte que peut regarder le système peut correspondre à cent mille mots ou peut-être un million si on, si on arrive à le faire. Euh, et on entraîne avec typiquement, euh, de l'ordre de,
euh, trois dix à la puissance douze mots ou token. C'est comme des mots.
D'accord ? Donc ça commence à faire beaucoup. Euh, en fait, c'est même trente dix à la puissance douze.
Trente, euh, je sais pas comment on appelle dix à la puissance douze. Euh, chaque token est représenté sur, sur trois octets environ. Donc à la fin, ça fait, euh, zéro neuf dix à la puissance quatorze octets
de données d'apprentissage. Ça, ça correspond à la totalité du texte disponible sur Internet publiquement et puis, euh, plus d'autres, d'autres données. Euh, ça nous prendrait à tout un chacun ici de l'ordre
de quatre cent mille ans à lire. En lisant, euh, plus de douze heures par jour. D'accord ? Alors c'est énorme. Et, et ce que fait le système,
c'est qu'il apprend une espèce de version compressée d'un peu tout ça, si vous voulez. Alors y a quand même un problème essentiel avec ça, c'est qu'y a pas vraiment de capacité de raisonnement dans un système comme ça. Il fait que prédire le mot suivant et puis y a le problème d'hallucination, euh,
comme on, on en a beaucoup parlé. Maintenant, comparez ça. Alors maintenant, je vais, je vais en venir aux, aux limitations, euh, des systèmes actuels. Euh, ces systèmes-là ne comprennent pas les
mondes, le monde physique, n'ont pas de mémoire persistante, n'ont pas vraiment de capacité de raisonnement. Les gens essaient de corriger ça, mais ça marche pas très bien. Et certainement pas de capacité de planification,
euh, à moins les entraîner systématiquement en fait avec des tas d'exemples. Donc une, un, un, tout l'argent qui est dépensé en ce moment en
IA, c'est pour deux choses. Un, l'infrastructure de calcul nécessaire à entraîner et surtout à faire tourner ces trucs-là. Mais aussi, euh, la, la phase de ce qu'on appelle le post training,
c'est-à-dire, euh, affiner le, le système pour, euh, le faire accomplir des tâches comme répondre à des questions fréquentes, euh, aller rechercher l'information par un moteur de recherche pour l'intégrer dans la réponse, euh, etc. Et faire en sorte qu'il soit pas
complètement toxique, etc. Donc y a tout un tas d'efforts en fait qui est, qui est dé-dédié à ça, euh, là-dedans. Mais maintenant, comparons ça avec un enfant de quatre ans.
Un enfant de quatre ans, euh, a été éveillé un total de environ six mille heures-- seize mille heures. L'information qui, euh, arrive au, à notre cortex visuel, euh, dans ces seize mille heures,
euh, y a énormément d'informations qui arrivent sur la rétine. On a soixante millions de, de récepteurs, soixante millions de pixels par œil, si vous voulez. Euh,
mais en fait tout ça est compressé pour passer dans le nerf optique. Le nerf optique n'a que un million de, de fibres nerveuses qui arrivent au cerveau, euh, par œil. Et chaque fi-fibre nerveuse, euh, peut, euh, faire transiter en-environ un mégaoctet par seconde. Ok ?
Donc arrive à notre cerveau environ deux méga-, deux mégaoctets par seconde. Multipliez ça par seize mille heures, trois mille six cents, euh, secondes par heure et on arrive environ à dix puissance quatorze octets.
Donc un enfant de quatre ans a vu autant de données à travers la vision que le plus gros des LLM actuels entraînés sur la totalité de tout le texte, euh, disponible sur Internet publiquement. Donc ça, ça vous dit deux choses: on va pas arriver à un système de, au niveau d'intelligence humain ou
surhumain simplement en entraînant sur du texte. Ça ne peut pas arriver. Y a des gens qui vont vous dire que si, l'année prochaine, on aura des systèmes super intelligents aussi bons qu'un doctorant, euh, etc. C'est faux. C'est faux. D'accord
? Alors, comment faire ça ? C'est le sujet de
