Les grands modèles de langage · Palier 3 · Faire tourner un modèle
La quantification et les petits modèles
Écrire les nombres d'un modèle sur moins d'octets : FP32, BF16, INT8, 4 bits, ce qu'on gagne en mémoire et en vitesse, ce qu'on perd, les formats des modèles locaux, et les petits modèles distillés.
Ce cours n'est pas encore ouvert
Ce cours fait partie d'un palier qui s'ouvre une fois connecté, avec le test du palier précédent ou le sien. Sans compte, seul le premier palier de chaque domaine est ouvert.