Vysokovýkonné uzly GPU sú nevyhnutné pre veľké pracovné zaťaženie AI, ale vysokovýkonné akcelerátory závisia od rýchlych hostiteľov CPU, aby maximalizovali svoj výkon. Procesory AMD EPYC™ 5. generácie zahŕňajú vysokofrekvenčné modely špeciálne navrhnuté tak, aby získali väčšiu priepustnosť z klastrov GPU. Tu je návod, ako na to.
1. VYSOKOFREKVENČNÉ SPRACOVANIE
Procesory s vyššou frekvenciou zlepšujú pohyb údajov a výkon virtuálneho stroja. Procesory s vyššou frekvenciou môžu presúvať údaje, organizovať úlohy a obsluhovať viacero virtuálnych strojov, čo umožňuje vyšší výkon akcelerátora AI. Procesory AMD EPYC 9575F bežia na až o 28 % vyššej frekvencii ako Intel® Xeon® Platinum 8592+, vďaka čomu sú neoceniteľné ako hostiteľské uzly GPU.
2. O 50 % PRIEMERNE VYŠŠÍ VÝKON PRI ZÁKLADNÝCH ÚLOHÁCH HOSTOVANIA GPU
Rýchlejšie spúšťanie jadra, výmeny pamäte a prenosy dát zvyšujú výkon. V testoch procesory AMD EPYC 5. generácie zvýšili všeobecný výkon 8x platformy NVIDIA H100 v priemere o 50 %, čím sa zvýšila inferencia Grok-1 ~52 %, spustenie jadra ~30 % a úlohy MemCopy ~138 % v porovnaní s procesormi Intel® Xeon® Platinum 8592+.
3. DOSTATOK PAMÄTE RAM NA ULOŽENIE CELÝCH MODELOV A MNOŽÍN ÚDAJOV V PAMÄTI
12 kanálov DDR5 podporuje až 6 TB RAM na socket. Procesory AMD EPYC 5. generácie môžu podporovať dostatok pamäte RAM na ukladanie veľkých súborov údajov a celých modelov do pamäte, čo pomáha znižovať cykly čítania/zápisu a prenosy do a z úložiska. Uchovávanie údajov v pamäti umožňuje procesorom AMD EPYC rýchlejšie spracovávať a dodávať viac údajov do klastrov GPU.
4. ŠIROKÝ A RÝCHLY POHYB ÚDAJOV PRE MASÍVNE PARALELNÉ SPRACOVANIE
Až 160 PCIe® Gen5 urýchľuje dátové prenosy. Linky PCIe sú komunikačné kanály medzi CPU, GPU a úložiskom. Procesory s menším počtom liniek sa môžu rýchlo stať úzkymi miestami, ktoré obmedzujú výkon GPU. S až 128 linkami PCIe (jeden socket) a až 160 linkami PCIe Gen5 (duálny socket) môžu procesory AMD EPYC 5. generácie presúvať obrovské objemy dát do a medzi GPU, aby maximalizovali svoju kapacitu.
5. AŽ O 20 % VYŠŠÍ GPU CEZ HUT
Výkon GPU pri veľkých pracovných zaťaženiach AI sa zvýši s hostiteľmi AMD EPYC. Keď sú hosťované procesormi AMD EPYC 5. generácie, platformy 8x GPU získavajú ~20 % v tréningovom benchmarku Stable Diffusion XL v2 (FP8) a až 20 % v benchmarku inferencie Llama 3.1-70B (FP8) v porovnaní s ekvivalentnými uzlami hosťovanými procesormi Intel® Xeon® Platinum 8592+.
Vysokofrekvenčné procesory AMD EPYC 5. generácie sú jedinečne navrhnuté tak, aby optimalizovali výkon klastrov GPU. Prečítajte si viac o výhodách používania procesorov AMD EPYC 5. generácie.
