Сравнение производительности GPU для больших языковых моделей

TOPS (тера-операций в секунду) и FLOPS (операций с плавающей точкой в секунду) – два важных показателя для характеристики производительности GPU, но они относятся к разным типам вычислительных операций, особенно при запуске и обучении БЯМ (больших языковых моделей).

TOPS (тера-операций в секунду)

• TOPS обычно измеряет производительность целочисленных операций (INT8, INT16, INT32 и т. д.).
• Он типично используется для AI-ускорителей (например, Tensor Cores, NPUs, TPUs), поскольку вывод (генерация выходных данных, предсказание) БЯМ часто использует операции с фиксированной точкой, которые более эффективны, чем вычисления с плавающей точкой.
• Для вывода используются операции INT8 или INT4, поскольку они снижают вычислительные и требования к памяти без существенного ухудшения производительности модели. Поэтому заявленная производительность AI-ускорителей часто указывается в TOPS.
• Пример: GPU может иметь производительность 200 TOPS для операций INT8, что означает, что он может выполнять 200 триллионов целочисленных операций в секунду.

FLOPS (операций с плавающей точкой в секунду)

• FLOPS измеряет скорость выполнения операций с плавающей точкой (FP16, FP32, FP64).
• Это критически важно для обучения БЯМ, поскольку большим моделям требуется точность FP16 или FP32 для точных расчетов весов и градиентов.
• Пример: современный GPU может иметь производительность 20 TFLOPS (терафлопс) FP32, что означает, что он может выполнять 20 триллионов операций с плавающей точкой в секунду.
• Для очень больших моделей (например, GPT-4 или Gemini) также используются операции FP16 (числа с плавающей точкой половинной точности) и bfloat16 (BF16), поскольку они быстрее, но при этом достаточно точны для обучения.