Les grands modèles de langage · Palier 3 · Faire tourner un modèle
L'inférence : du prompt à la réponse
Ce qui se passe entre ton prompt et le premier mot : lire puis écrire, le délai avant le premier token, le cache KV qui remplit la mémoire du GPU, les lots, le décodage spéculatif, et ce qui fait le prix d'un token.
Ce cours n'est pas encore ouvert
Ce cours fait partie d'un palier qui s'ouvre une fois connecté, avec le test du palier précédent ou le sien. Sans compte, seul le premier palier de chaque domaine est ouvert.