AMD překonává NVIDIA – její Instinct Mi300X je 1,3 až 9,8x výkonnější než NVIDIA H100 v AI Tisk E-mail
Napsal Jan "DD" Stach   
Pondělí, 11 prosinec 2023
altNová generace výpočetních produktů AMD a NVIDIA je na trhu a z hlediska výkonu je to jasné?

 

 

 

 

NVIDIA měla zhruba 5-6 měsíců časové výhody, kdy začala dodávat svou aktuální H100 generaci výkonného HPC GPU řešení zákazníkům. Soudobá konkurence od AMD vyráží k zákazníkům teprve v těchto týdnech, ale pro mnohé stálo za to si počkat. Mi300X je technologicky i výkonově úplně někde jinde. AMD těží z technologického náskoku na poli čipletů a jeho novinka je absolutní výkonový král výpočetních GPU a speciálně pro AI nasazení.

Generačně jde také o obrovský posun. Jak víte, tak Mi300 je postavená na výpočetní GPU architektuře CDNA 3, zatímco starší Mi200 používá CDNA 2. Ve srovnání nejvýkonnější Mi250X variantou má nové Mi300X téměř 3x více tranzistorů a násobně vyšší výkon v různých operacích. AMD se soustředilo speciální na „tensor“ oblast výkonu, kde je nárůst výkonu ve stovkách %.

Technologicky je Mi300X nejpokročilejší řešení svého druhu na světě. I NVIDIA H100 vedle toho vypadá poněkud zaostale, zejména výrobní konstrukcí a efektivitou. AMD zde využívá plné výhody čipletů, tedy Mi300X na rozdíl od konkurenční H100 není monolit. Výrobní i provozní efektivita bude mnohem lepší. Tvoří jej mnoho samostatných čipů vyráběných 5nm i 6nm, „poslepované“ na jediný čiplet. Najdeme zde výpočetní xCD s celkem 304 CU tedy 19 456 FP32 jednotek, to doplňují Infinity Cache a HBM 3 čipy, včetně vrstvených řešení. TOP verze disponuje tedy 192GB HBM3 pamětí více jak 5,3TB/s propustností.  

V tradičních aplikacích a úlohách Mi300X naprosto deklasuje NVIDIA a její H100 řešení, v AI úlohách i násobně. Samozřejmě tahle výkonová srovnání je poněkud obtížné udělat, protože moc vyloženě nezávislých jednotných benchmarky s jasnými pravidly pro HPC úplně není, a samozřejmě existují aplikace na míru napsané pro daný HW, které mohou věci zkreslovat. Takže NV po několika dnech tápání přišla s vlastními benchmarky, kde dokázala alespoň někde Mi300X v pohodě konkurovat. Nicméně v drtivé většině operací a úloh poměrně výrazně zaostává, takže NV už oznámila H200 pro příští rok, což jsou fakticky dvě H100 vedle sebe.

Není pochyb o tom, že v řadě věcí má nyní AMD výrazně lepší a silnější a hlavně efektivnější řešení. Jednou z výhod AMD je i komplexní platforma, kdy zákazníkům může vedle Mi300 série produktů nabídnout také odpovídající serverovou a síťovou platformu s procesory EPYC a XILINX řešeními. Na tomto poli nemůže NVIDIA dnes AMD plně konkurovat, její ARM čipy jsou samozřejmě omezenější z hlediska univerzality a použití. Nicméně o nedostatek zákazníků se rozhodně nemusí bát ani jedna z firem, ačkoliv lze očekávat, že také některá výkonnější AMD řešení dostanou zákaz prodeje na některých trzích. Zejména Čínském, stejně jako to platí pro NVIDIA. Ovšem zákazníků je hromada i na jiných trzích a obě firmy spíše řešení velikost produkce. I zde má AMD mírnou výhodu, kdy jeho čipletová řešení a spojení menších čipů je mnohem efektivnější než NVIDIA a její větší monolity. Na druhou stranu obě firmy se potýkají se stejným omezením, kterým v současné době není ani tak kapacita výroby samotných čipů, jako kapacita linek pro tzv. pouzdření. To je dnes hlavní potíž.

Jinak AMD vedle Mi300X nabízí také zajímavé Mi300A, které má sice méně výpočetních CDNA 3 jednotek, za to nese hned 3 procesorové čipy s celkem 24 jádry ZEN 4! Vše v jednom řešení, tedy velmi zajímavé pro určité typy operací a aplikací.

Není tak divu, že AMD očekává velký zájem a svůj růst v oblasti HPC. Prakticky všichni, kteří v oblasti HPC něco znamenají, také již testují a mají produkty založené na nejnovějších AMD Instinct a EPYC řešení, což je rozhodně velký posun proti ještě nedávné minulosti. Ale vzhledem k tomu, že AMD dnes má objektivně v mnoha směrech nejvýkonnější a nejefektivnější HW, speciálně v HPC oblastech, a na jeho základech jsou postavené nejvýkonnější superpočítače na světě, včetně toho vůbec nejvýkonnějšího, nikdo už si dnes nemůže dovolit AMD ignorovat jako kdysi. Otázkou je, zda to AMD zvládne kapacitně, kdy se o kapacity u TSMC dnes dělí s NVIDIA, Apple, Intelem atd., což samozřejmě omezuje jeho celkové možnosti růstu. A bojíme se také jistých omezení výroby některých tradičních CPU či herních GPU, ke kterým přistoupila NVIDIA. AMD ale zdá se zatím má velký zájem ve všech oblastech a nechce žádnou opouštět nebo omezovat. A jakkoliv nejsou Mi300 apod. produkty určené pro nás, budou hrát velkou roli v mnoha věcech, které používáme, protože pohání AI, Cloud služby a vzdálený výkon apod. Současně za ně firmy neváhají utrácet násobně více, než za běžné CPU nebo GPU, takže pro AMD, NVIDIA i Intel apod. jde o zdaleka nejlukrativnější, a tudíž nejzajímavější segment produktů, kde poptávka také setrvale roste a není divu, že se na něj všichni soustředí.

Vývoj SKYNETU a AI schopných prakticky čehokoliv je tedy v plném plánu a ano, AI bude využívána i pro vývoj a design následujících generací CPU, GPU a dalších čipů. Není pochyb o tom, že už probíhá nová a jedna z největších technických a průmyslových generací v historii lidstva.

 

AUTOR: Jan "DD" Stach
Radši dělám věci pomaleji a pořádně, než rychle a špatně.

Starší články


Komentáře
Přidat Nový
CZviper [Zobrazit profil] [Poslat zprávu] 2023-12-14 16:14:34

Tak to je paráda, škoda že neumí udělat herní grafiku.
nobloch [Zobrazit profil] [Poslat zprávu] 2023-12-14 17:28:32
avatar
snajprik [Zobrazit profil] [Poslat zprávu] 2023-12-17 09:47:37

Na druhej strane nikto s nás nepobeží do obchodu po MI300 alebo H100 či H200
Taka H100 už aj v USA stoji 70 000 dolarov a čakacia doba cez 1 rok a AMD čo som pozeral vyraba MI300 len pre zakaznikov čo si ju objednali dopredu v stovkach kusov (google, apple...)
Pre nas hračov je to skôr škodna, AMD čiplety stiahla a všetke poslala na AI, tak že do 2026 žiaden čiplet pre nas
Nvidia to iste RTX5090 mala už biť čiplet a kôli AI bola odložena o dalšiu generaciu. Tak že herne čiplety oboch značiek čo mali doraziť v 2024 sa preložili na 2026.
A aby som potešil Nvidia fanušikov aby nezavideli AMD ich kvalitu ovladačov, tak Nvidia 70% vývojárov s herných GPU presmerovala do AI. Tak že Nvidia a ich herne GPU pridu neskôr budu slabšie a ovladače si tiež nepolepšia.
Zubik1000CZ [Zobrazit profil] [Poslat zprávu] 2023-12-15 00:29:06
avatar
Neeeeee, a RX 6000 a RX 7000 je co? Navíc 7000 jsou částečně čipletové řešení. A přitom za nízké ceny.

Co má NV? Předražený monolitní ho*na
Co na tom, že je 7900XTX o 5% slabší jak 4090? Pořád je za cenu nižší než 4080, která je ale o víc než 20% horší jak 4090

Nezní jako dobrá grafika xd
CZviper [Zobrazit profil] [Poslat zprávu] 2023-12-15 08:00:15

7900 XTX o 5% horší než 4090 ve 4k. No jistě. S Tebou je diskuse naprosto zbytečná, viz:
Odkaz
Zubik1000CZ [Zobrazit profil] [Poslat zprávu] 2023-12-15 11:09:27
avatar
stejně tak jsem mohl přijít a říct, že je naopak lepší, protože jsou případy, kdy je lepší jak tvoje posraná 4090

tady je vidět, kdo nepoužívá mozek a s kým je zbytečné diskutovat

já na rozdíl od tebe používám obecný výkon a netahám si data,
které se mi zrovna hodí
CZviper [Zobrazit profil] [Poslat zprávu] 2023-12-15 17:04:52

Kdy je lepší? Ve 2 hrách z padesáti, ale průměrně je o 20% pomalejší v rastru a o 60% v RT?
aDDmin [Zobrazit profil] [Poslat zprávu] 2023-12-15 18:28:50
avatar
jenže má o desítky W nižší spotřebu a stojí cca polovinu, takže srovnávat tyhle dva produkty nemá smysl, protože proti sobě na trhu opravdu nestojí ... 7900 XTX je dokonce levnější než 4080 ....

Každopádně právě ten výkon, výbava a cena dělá z XTX jasně lepší herní grafiku než jsou 4080/4090 zatímco nejen díky ceně jsou 4080/4090 prostě mizerné produkty
CZviper [Zobrazit profil] [Poslat zprávu] 2023-12-15 19:53:03

S tou spotřebou to není tak úplně pravda. Ve spoustě her narážím na limit 4k/120 a grafika tak jede s podstatně nižší spotřebou, ale 7900XTX by musela jet naplno, aby takový výkon měla. A to nemluvím o optimalizaci napětí, kdy při ztrátě cca 3% je spotřeba grafiky 320 W.
Nicméně je mi putna, jestli má někdo takovou nebo makovou grafiku, jen Zubík lže o rozdílu výkonu, to je celé. Že je 4090 podstatně dražší je tím, že je nejvýkonnější, žádné "nejlepší" zboží nestojí přímo úměrně více než to ostatní. Tak funguje trh.
Martinp79 [Zobrazit profil] [Poslat zprávu] 2023-12-17 22:43:33
avatar
Pokud jde o Ai, co s poměrnou částku o kolik je vyšší nebo nižší výkon se spotřebou na čas?

Ano HW může mýt vyšší spotřebu, ale taky vyšší výkon, Ai není hra kterou hrajete xx hodil v kuse , nebo furt dokola. Ale je to soubor úloh, která má dost jasně daný počátek a konec. Je tedy blízká kompilaci, kompresy a enkodování.

Pokud nějaký HW zvládne úloho v dostatečně krátkém čase, může být i s tabulkově větší spotřebou. Ale výsledná potřeba na úlohu byla menší. Než u HW který je úpornější, ale také podstatně s nižší výkonem v dané úloze.
Vlastně ano je to podobné cryptu. Na slabém HW nebudete mít velkou spotřebu energie , ale také toho za jednotku času málo vytěžíte


V některých úlohách má i 7900XTX horší výkon než 3070Ti o 4XXX nemluvě.

AMD potřebuje optimalizaci, poskytnout vývojářům SDK, různé toolkity s nižším TCO a hlavně sponzorovat vývoj...
navy [Zobrazit profil] [Poslat zprávu] 2023-12-16 11:22:45
avatar
Pánové, tak se nehádejte, vždyť jde jenom o spotřební věci a ne o život.

V životě jsou mnohem důležitější věci a nyní v době svátků, byste se měli dvakrát rozmyslet, než něco napíšete.

Díky
ondris83 [Zobrazit profil] [Poslat zprávu] 2023-12-14 18:43:03

tak u amd je brutalni vyhoda spis ta vetsi ram, karta muze zpracovavat vetsi modely. ten vykon se uvidi, tahle cisla jsou jen teoreticka (pocet jader x frekvence) a neni to vysledek zadnyho benchmarku. zase se DD nachytal stejne jak u srovnani tech superpocitacu...a ze je ve dvou pripadech u AI 9,8x vykonejsi..no jako asi je kdyz se na NV nepouziji tensor jadra, ale v jakym svete bys je nechtel na AI pouzit? to je uplne nesmyslne srovnani a plati ten teoreticky 1,3x vyssi vykon.
Murphix [Zobrazit profil] [Poslat zprávu] 2023-12-17 13:37:40

Hlavne AI je roky domenou nVidie, to se jen tak nezmeni. V serverech dodavaji extra vykon s nizsi spotrebou a cenou nez Intel a porad nemaji ani tricet procent.
Martinp79 [Zobrazit profil] [Poslat zprávu] - Záleží na optimalizaci 2023-12-16 21:53:52
avatar
Záleží na optimalizaci. nVidia hodně investovala do různých SDK a v Ai tak se stávalo , že RTX2060 překonávala i RX 6900 XT. Situace se pro AMD zlepšuje , ale i tak sázka na nVidia je na jistotu.

Otázkou kdy se to změní za jednu nebo dvě generace GPU?
Belka [Zobrazit profil] [Poslat zprávu] 2023-12-18 06:21:02
avatar
ono se to uz meni diky konzolim, hodne her se od sameho zacatku optimalizuje tak aby dobre bezely na PS5 a Xboxu a zde je HW kompletne od AMD.. Vsak uz i novej unreal engine je silne optimalizovanej na AMD protoze se s nim pocita na hodne her do budoucna prave pro herni konzlole.. AMD se zacina tezce vyplacet to ze vstoupila pred lety kompletne na konzolovy trh, sice z tho mela minimalni zisky z pocatku ale oni moc dobre vedeli co delaji.. Konzole se dneska prodavaji po desitkach miionů kusů a hodne vyvojaru se soustredi uz jenom na konzolovy trh...diky tomu pak samozrejme ty hry chodi lepe na AMD pokud se portuji na PC platformu
Martinp79 [Zobrazit profil] [Poslat zprávu] 2023-12-18 07:13:18
avatar
Určitě ne. Ai je u her hezký buzzword ,ale srovnávat to matematickými operacemi pro výpočet grafiky moc nejde. Na matematické vyjádření geometrické entity v prostoru není třeba strojové učení. Jsou to věci popsané už 70tých letech minulého století, jen z SGI mainframem to proniklo do spotřebitelského sektoru.

Vzhledem k tomu že konzole jsou dotované a mají custom HW příště to může být jinak. PS1 SGI, PS2 Toshiba, PS3 Nvidia, PS4 AMD , PS5 AMD a přístě je je podle toho kdo vyhraje výběrové řízení a né komu se fandí.
Pouze registrovaní uživatelé mohou přidat komentář!
 

Najdete nás na Facebooku

.... a také na Twitteru

RSS

DDWorld.cz

DDWorld - Blogy a videa

DDWorld - Magazín

Poslední příspěvky v diskuzích


Videa
Filmový Sonic 3 se opět povedl – další díl jistý!
Filmový Sonic 3 se opět povedl – další díl jistý!Monday, 23 December 2024
Vložil: aDDmin
Kategorie: Film
Spuštěno: 465x
Komentářů: 0
S.T.A.L.K.E.R. 2 dostal pořádný update! Konečně je to stalker?
S.T.A.L.K.E.R. 2 dostal pořádný update! Konečně je to stalker?Friday, 20 December 2024
Vložil: aDDmin
Kategorie: Počítačové hry
Spuštěno: 2143x
Komentářů: 4
Exodus od bývalých tvůrců Mass effect vypadá jako Mass Effect!
Exodus od bývalých tvůrců Mass effect vypadá jako Mass Effect!Thursday, 19 December 2024
Vložil: aDDmin
Kategorie: Počítačové hry
Spuštěno: 1255x
Komentářů: 0
Witcher IV oficiálně odhalen! Ciri v hlavní roli.
Witcher IV oficiálně odhalen! Ciri v hlavní roli.Tuesday, 17 December 2024
Vložil: aDDmin
Kategorie: Počítačové hry
Spuštěno: 1414x
Komentářů: 4
Kontroverzní The Last of Us Part II dorazí na PC
Kontroverzní The Last of Us Part II dorazí na PCMonday, 16 December 2024
Vložil: aDDmin
Kategorie: Počítačové hry
Spuštěno: 1076x
Komentářů: 0
Mafia: The Old Country dorazí v létě 2025
Mafia: The Old Country dorazí v létě 2025Friday, 13 December 2024
Vložil: aDDmin
Kategorie: Počítačové hry
Spuštěno: 1501x
Komentářů: 0