Výsledky ukazují, že procesory Intel Core Ultra Series 2 nabízejí bezprecedentní výpočetní výkon v oblasti umělé inteligence zahrnující CPU, GPU i NPU.
Společnost Intel oznámila, že jako jediná dosáhla plné podpory neuronových výpočetních jednotek (NPU) v nově vydaném benchmarku MLPerf Client v0.6. Výsledek představuje první standardizované hodnocení výkonu velkých jazykových modelů (LLM) na klientských NPU v oboru. Měření provedená společností Intel v rámci testu MLPerf Client v0.6 ukazují, že procesory Intel® Core™ Ultra Series 2 dokáží vytvářet výstupy na grafické procesorové jednotce (GPU) i na NPU mnohem rychleji, než je schopen přečíst běžný člověk.
„Jsme hrdí na to, že můžeme být lídrem v oboru a umožnit plnou akceleraci NPU a špičkový výkon GPU pro pracovní zátěže s umělou inteligencí na platformách klientských PC. Tento úspěch odráží hlubokou kooptimalizaci hardwaru a softwaru společnosti Intel a její závazek demokratizovat umělou inteligenci pro osobní počítače všude na světě.“
-Daniel Rogers, viceprezident a generální ředitel marketingu produktů pro PC společnosti Intel.
Proč na tom záleží
S procesory Intel Core Ultra Series 2 stojí společnost Intel v čele vývoje počítačů s umělou inteligencí a nabízí bezprecedentní výpočetní výkon pro umělou inteligenci zahrnující centrální procesorovou jednotku (CPU), grafický procesor a jednotku NPU.
MLPerf Client v0.6 měří čtyři případy použití generování a sumarizace obsahu na základě modelu Llama 2 7B. Společnost Intel prokázala špičkový výkon napříč NPU a integrovaným grafickým procesorem Intel® Arc™.
Intel dosáhl nejrychlejší doby odezvy NPU, když vygeneroval první slovo za pouhých 1,09 sekundy (latence prvního tokenu), což znamená, že začne odpovídat téměř okamžitě po obdržení výzvy. Dosáhl také nejvyšší propustnosti NPU, a to 18,55 tokenu za sekundu, což odkazuje na to, jak rychle dokáže systém generovat každý další kus textu, což umožňuje bezproblémovou interakci s AI v reálném čase. Ve srovnání s konkurencí navíc Intel prokázal prvenství GPU v čase do prvního tokenu, který začíná rychleji než u konkurence, a posílil tak svůj náskok v end-to-end akceleraci AI pomocí NPU a GPU.
O srovnávacím testu NPU na platformě MLPerf
MLPerf Client v0.6, vyvinutý ve spolupráci členů konsorcia MLCommons - včetně společností Intel, AMD, Microsoft, Nvidia a Qualcomm - rozšiřuje dřívější testy zaměřené na GPU a nyní zahrnuje specializované benchmarkování NPU.
Díky úzké spolupráci mezi hardwarovými týmy NPU společnosti Intel a softwarovým týmem OpenVINO™ zůstávají procesory Intel Core Ultra jedinými NPU, které ve finálním benchmarku dosáhly úplné shody s NPU.
