Meta bemutatja a Code Llama 70B-t: Az OpenAI GPT-4 kihívóját az AI-kódolási arénában

A Meta nemrég bemutatta legújabb ingyenes kódgeneráló AI-modelljét és programozóeszközét, a Code Llama 70B-t, az OpenAI GPT-4 kihívójaként az AI-alapú kódolás terén. A Code Llama 70B, amely a Meta AI-programozási eszközcsaládjának legfrissebb tagja, a Llama 2 nyelvmodell alapjaira építve jött létre, és 70 milliárd paraméterrel büszkélkedhet, ezzel méretben és képességekben is meghaladva korábbi változatait.

Ez az új változat jelentős fejlesztéseket hozott a nagyobb programozási karakterláncok generálásának és a hibakeresésnek a terén, lehetővé téve a fejlesztők számára, hogy bonyolultabb lekérdezéseket hajtsanak végre, ezáltal növelve a kódgenerálás pontosságát.

A Code Llama 70B nagyobb számú lekérdezést képes kezelni, ami azt jelenti, hogy a fejlesztők több kérést adhatnak meg a programozás során, ami a kódgenerálás nagyobb pontosságát eredményez

A Code Llama 70B teljesítménye kiemelkedő, 53%-os pontossággal teljesítve a HumanEval benchmarkon, ami felülmúlja a GPT-3.5-öt (48,1%) és közelít a GPT-4 által elért 67%-hoz.

A HumanEval benchmark egy kézzel készített adathalmaz, amely 164 programozási feladatot tartalmaz. Minden feladat tartalmaz egy függvényaláírást, docstringet, testet és több egységtesztet, és átlagosan 7,7 tesztet feladatonként. A benchmark a generált kód funkcionális helyességét hivatott értékelni, a szöveghasonlóság helyett arra összpontosítva, hogy a modell képes-e hatékonyan és pontosan megoldani a programozási kihívásokat. Ez jelentős előrelépés az emberi képességek kiegészítésének és a problémák innovatív és hatékony megoldásának célja felé, azáltal, hogy a mesterséges intelligenciamodelleket a problémamegoldó képességük alapján értékeljük. A HumanEval benchmark értékes eszközzé vált a nagyméretű nyelvi modellek teljesítményének értékeléséhez a kódgenerálási feladatokban.

A GPT-4 a statisztikák és a teljesítménytesztek szerint nagyobb teljesítményt nyújt a kódolásban, mint a Llama 2. A GPT-4 emellett sokoldalúbb, mint a Llama 2, és a feladatok szélesebb körére használható, például kreatív szövegformátumok létrehozására, nyelvek fordítására és kérdések megválaszolására.

A Llama 2 tényszerűségi és összegzési feladatokban mutatott kiválóságot, és szabadon hozzáférhető, mind kutatási, mind kereskedelmi célokra, elősegítheti a Llama2 gyorsabb elfogadását a fejlesztők között.

Így, bár a GPT-4 vezet a kódolási teljesítmény és sokoldalúság területén, a Meta Code Llama 70B egy jelentős lépés előre az AI kódolási versenyben, fejlett kódgenerálási képességeivel egy versenyképes és szabadon elérhető alternatívát kínálva.

A Llama 70B kód és a GPT-4 közötti fő különbségek

• 1. Teljesítmény és sokoldalúság:
  • A GPT-4 a jelentések szerint nagyobb teljesítményt nyújt a kódolásban, mint a Llama 2, és sokoldalúbb, mivel a feladatok szélesebb körére képes, például kreatív szövegformátumok létrehozására, nyelvek fordítására és kérdések megválaszolására.
• 2. Modell mérete és paraméterei:
  • A Code Llama 70B 70 milliárd paraméterrel rendelkezik, ami méret és képesség tekintetében felülmúlja elődjeit.
  • A GPT-4 egy nagyméretű multimodális modell, amely több mint 25 000 szónyi szöveget képes kezelni és képeket fogad el bemenetként.
• 3. Költség és hozzáférhetőség:
  • A Llama 2 szabadon hozzáférhető mind kutatási, mind kereskedelmi célokra. Emellett költséghatékonyabb és nyílt forráskódú, ami lehetővé teszi a folyamatos fejlesztéseket.
  • A GPT-4 egy szabadalmaztatott, díj ellenében elérhető modell, és használata a Llama 2-höz képest magasabb költségekkel jár.