Společnost Intel prověřila portfolio produktů AI pro první modely Meta Llama 3 8B a 70B napříč akcelerátory Intel® Gaudi®, procesory Intel® Xeon®, procesory Intel® Core™ Ultra a grafikou Intel® Arc™.
V rámci svého poslání přinést umělou inteligenci všude investuje společnost Intel do softwaru a ekosystému umělé inteligence, aby zajistila, že její produkty budou připraveny na nejnovější inovace v dynamickém prostoru umělé inteligence. V datových centrech poskytují procesory Intel Gaudi a Intel Xeon s akcelerací Intel® Advanced Matrix Extension (Intel® AMX) zákazníkům možnosti, jak splnit dynamické a rozsáhlé požadavky.
Procesory Intel Core Ultra a grafické produkty Intel Arc umožňují lokální vývoj i nasazení v milionech zařízení s podporou komplexních softwarových nástrojů, včetně PyTorch a Intel® Extension for PyTorch® používaných pro lokální výzkum a vývoj a sady nástrojů OpenVINO™ pro vývoj modelů a odvozování.
První testy a výsledky výkonnosti modelů Llama 3 8B a 70B společnosti Intel využívají software s otevřeným zdrojovým kódem, včetně knihoven PyTorch, DeepSpeed, Intel Optimum Habana a Intel Extension for PyTorch, které poskytují nejnovější softwarové optimalizace.
Procesory Intel Xeon řeší náročné end-to-end pracovní zátěže umělé inteligence a společnost Intel investuje do optimalizace výsledků LLM s cílem snížit latenci. Procesory Intel® Xeon® 6 s jádry Performance-cores (s kódovým označením Granite Rapids) vykazují dvojnásobné zlepšení latence inference Llama 3 8B ve srovnání s procesory Intel® Xeon® 4. generace a schopnost spouštět větší jazykové modely, jako je Llama 3 70B, pod 100 ms na generovaný token.
Procesor Intel Core Ultra a grafická karta Intel Arc Graphics poskytují Llama 3 působivý výkon. V prvním kole testování již procesory Intel Core Ultra generují rychlost čtení vyšší, než je typická pro člověka. Grafický procesor Intel® Arc™ A770 je dále vybaven akcelerací umělé inteligence Xe Matrix eXtensions (XMX) a 16 GB vyhrazené paměti, které zajišťují výjimečný výkon pro pracovní zátěž LLM.