Intel oznámil, že je jedinou spoločnosťou, ktorá dosiahla plnú podporu neurónových procesorových jednotiek (NPU) v novo vydanom benchmarku MLPerf Client v0.6. Výsledok predstavuje prvé štandardizované hodnotenie výkonu veľkých jazykových modelov (LLM) na klientskych NPU. Merania Intel MLPerf Client v0.6 ukazujú, že procesory Intel^® Core™ Ultra Series 2 dokážu produkovať výstup na grafickej procesorovej jednotke (GPU) aj NPU oveľa rýchlejšie, ako dokáže prečítať typický človek.

„Sme hrdí na to, že sme lídrom v tomto odvetví umožňujúci úplnu akceleráciu NPU a špičkový výkon GPU pre pracovné zaťaženia AI na platformách klientskych počítačov. Tento úspech odráža hlbokú spoločnú optimalizáciu hardvéru a softvéru spoločnosti Intel a záväzok demokratizovať umelú inteligenciu pre počítače všade.“ – Daniel Rogers, viceprezident spoločnosti Intel a generálny riaditeľ marketingu PC produktov

Prečo je to dôležité

So svojimi procesormi Intel Core Ultra Series 2 je Intel v popredí vývoja AI PC a ponúka bezprecedentný výpočtový výkon AI zahŕňajúci centrálnu procesorovú jednotku (CPU), GPU a NPU.

MLPerf Client v0.6 meria štyri prípady použitia generovania obsahu a sumarizácie na základe modelu Llama 2 7B. Intel preukázal špičkový výkon naprieč NPU a vstavaným grafickým procesorom Intel^® Arc™.

Intel dosiahol najrýchlejší čas odozvy NPU, keď vygeneroval prvé slovo len za 1,09 sekundy (latencia prvého tokenu), čo znamená, že začne odpovedať takmer okamžite po prijatí výzvy. Poskytol tiež najvyššiu priepustnosť NPU na úrovni 18,55 tokenov za sekundu, čo odkazuje na to, ako rýchlo dokáže systém vygenerovať každý ďalší kúsok textu, čo umožňuje bezproblémovú interakciu AI v reálnom čase. Okrem toho Intel v porovnaní s konkurenciou ukázal vedúce postavenie GPU včas do prvého tokenu, začal rýchlejšie ako konkurencia a posilnil svoju výhodu v akcelerácii NPU a GPU od začiatku do konca.

O benchmarkingu NPU na MLPerf

MLPerf Client v0.6, vyvinutý v spolupráci s členmi konzorcia MLCommons – vrátane spoločností Intel, AMD, Microsoft, Nvidia a Qualcomm – presahuje predchádzajúce testy zamerané na GPU a teraz zahŕňa špecializované benchmarkovanie NPU.

Vďaka úzkej spolupráci medzi hardvérovými tímami Intel NPU a softvérovými tímami OpenVINO™ zostávajú procesory Intel Core Ultra jediným NPU, ktorý dosiahol úplnú zhodu s NPU v konečnom benchmarku.

Testovanie konfigurácie

×