GPU Teljesítmények összehasonlítása Nagy Nyelvi Modellekhez

A TOPS (Tera Operations Per Second) és a FLOPS (Floating Point Operations Per Second) két fontos mérőszám a GPU-k teljesítményének jellemzésére, de eltérő számítási műveletekre vonatkoznak, különösen az LLM-ek (Large Language Model-ek) futtatásánál és betanításánál.

TOPS (Tera Operations Per Second)

• A TOPS általában az egész számokkal végzett műveletek (INT8, INT16, INT32, stb.) teljesítményét méri.
• Jellemzően az AI-gyorsítók (pl. Tensor Core, NPUs, TPUs) esetében használják, mivel az LLM-ek inference (kimenet generálása, előrejelzés) során gyakran fixpontos műveleteket alkalmaznak, amelyek hatékonyabbak, mint a lebegőpontos számítások.
• Az inference esetében INT8 vagy INT4 műveleteket használnak, mert ezek csökkentik a számítási és memóriaigényt anélkül, hogy jelentősen rontanák a modell teljesítményét. Ezért az AI-gyorsítók hirdetett teljesítménye gyakran TOPS-ban van megadva.
• Példa: Egy GPU 200 TOPS teljesítményű lehet INT8 műveletek esetében, ami azt jelenti, hogy másodpercenként 200 billió egész szám műveletet képes végrehajtani.

FLOPS (Floating Point Operations Per Second)

• A FLOPS a lebegőpontos műveletek (FP16, FP32, FP64) végrehajtási sebességét méri.
• Az LLM-ek betanításánál (training) kulcsfontosságú, mert a nagy méretű modellek esetében FP16 vagy FP32 precizitásra van szükség, hogy a súlyok és gradiensszámítások pontosak legyenek.
• Példa: Egy modern GPU lehet 20 TFLOPS (TeraFLOPS) FP32 teljesítményű, ami azt jelenti, hogy másodpercenként 20 billió lebegőpontos műveletet képes végrehajtani.
• Nagyon nagy modellek (pl. GPT-4 vagy Gemini) esetében FP16 (félprecíziós lebegőpontos számok) és bfloat16 (BF16) műveletek is használatosak, mert ezek gyorsabbak, de még mindig elég pontosak a betanításhoz.