Spoločnosť Intel overila svoje portfólio produktov AI pre prvé modely Meta Llama 3 8B a 70B naprieč akcelerátormi Intel® Gaudi®, procesormi Intel^® Xeon^®, procesormi Intel^® Core^™ Ultra a grafikami Intel^® Arc^™.

V rámci svojej misie priniesť AI do všetkých oblastí investuje spoločnosť Intel do softvéru a ekosystému AI. Jej cieľom je pripraviť svoje produkty na najnovšie inovácie v dynamickej oblasti umelej inteligencie. V dátových centrách poskytujú procesory Intel Gaudi a Intel Xeon s akceleráciou Intel^® Advanced Matrix Extension (Intel® AMX) zákazníkom možnosti na splnenie dynamických a širokospektrálnych požiadaviek.

Procesory Ιntel Core Ultra a grafické produkty Intel Arc poskytujú lokálny vývojový prostriedok aj nasadenie v miliónoch zariadení s podporou komplexných softvérových rámcov a nástrojov vrátane PyTorch a Intel^® Extension for PyTorch®, ktoré sa používajú v oblasti lokálneho výskumu a vývoja, ako aj nástroje OpenVINO™ na vývoj modelov a inferenciu.

Úvodné testovanie a výsledky výkonnosti modelov Llama 3 8B a 70B spoločnosti Intel využívajú softvér s otvoreným zdrojovým kódom vrátane PyTorch, DeepSpeed, knižnice Intel Optimum Habana a rozšírenia Intel Extension for PyTorch, ktoré poskytujú najnovšie softvérové optimalizácie.

Procesory Intel Xeon riešia náročné komplexné pracovné zaťaženia v oblasti umelej inteligencie a spoločnosť Intel investuje do optimalizácie výsledkov LLM s cieľom znížiť latenciu. Procesory Intel^® Xeon^® 6 s jadrami Performance (kódové označenie Granite Rapids) vykazujú 2-násobné zlepšenie latencie inferencie Llama 3 8B v porovnaní s procesormi Intel^® Xeon^® 4. generácie a schopnosť spúšťať väčšie jazykové modely, ako napríklad Llama 3 70B, s hodnotou pod 100 ms na generovaný token. Intel Core Ultra a Intel Arc Graphics poskytujú pôsobivý výkon pre modely Llama 3. Už v úvodnom kole testovania prebiehalo generovanie procesormi Intel Core Ultra rýchlejšie, než je typická rýchlosť ľudského čítania. Grafická karta Intel^® Arc™ A770 navyše podporuje inštrukcie Xe Matrix eXtensions (XMX) zamerané na umelú inteligenciu a je vybavená 16 GB vyhradenej pamäte, vďaka čomu dosahuje výnimočný výkon v oblasti pracovných zaťažení LLM.