Comparaison des performances des GPU pour les grands modèles linguistiques

Les TOPS (Tera Operations Per Second - Téra Opérations Par Seconde) et les FLOPS (Floating Point Operations Per Second - Opérations en Virgule Flottante Par Seconde) sont deux mesures importantes pour caractériser les performances des GPU, mais elles se rapportent à différents types d'opérations de calcul, en particulier lors de l'exécution et de l'entraînement des LLM (Grands Modèles Linguistiques).

TOPS (Tera Operations Per Second - Téra Opérations Par Seconde)

• Les TOPS mesurent généralement les performances des opérations sur les entiers (INT8, INT16, INT32, etc.).
• Ils sont généralement utilisés pour les accélérateurs d'IA (par exemple, Tensor Cores, NPU, TPU) car l'inférence (génération de sortie, prédiction) des LLM utilise souvent des opérations en virgule fixe, qui sont plus efficaces que les calculs en virgule flottante.
• Pour l'inférence, les opérations INT8 ou INT4 sont utilisées car elles réduisent les besoins en calcul et en mémoire sans dégrader significativement les performances du modèle. Par conséquent, les performances annoncées des accélérateurs d'IA sont souvent spécifiées en TOPS.
• Exemple : Un GPU peut avoir une performance de 200 TOPS pour les opérations INT8, ce qui signifie qu'il peut effectuer 200 billions d'opérations sur les entiers par seconde.

FLOPS (Floating Point Operations Per Second - Opérations en Virgule Flottante Par Seconde)

• Les FLOPS mesurent la vitesse d'exécution des opérations en virgule flottante (FP16, FP32, FP64).
• Ils sont cruciaux pour l'entraînement des LLM car les grands modèles nécessitent une précision FP16 ou FP32 pour des calculs précis des poids et des gradients.
• Exemple : Un GPU moderne peut avoir une performance de 20 TFLOPS (TeraFLOPS) FP32, ce qui signifie qu'il peut effectuer 20 billions d'opérations en virgule flottante par seconde.
• Pour les très grands modèles (par exemple, GPT-4 ou Gemini), les opérations FP16 (nombres à virgule flottante en demi-précision) et bfloat16 (BF16) sont également utilisées car elles sont plus rapides tout en restant suffisamment précises pour l'entraînement.