Titan V vs 1080 Ti - Head-to-head kamp om de beste desktop GPU-ene på CNN. Er Titan V verdt det? 110 TFLOPS! ingen brainer, ikke sant?

NVIDIAs Titan V er den nyeste “desktop” GPU-en bygd på Volta-arkitekturen med 110 “deep learning” TFLOPS i databladet. Det er utrolig mange. Sammenlign det med 1080 Ti, den nåværende kongen for “desktop” GPU, som gir 11 “normale” TFLOPS med 11 GB GDDR5-minne til en meget rimelig $ 699-klistremerkepris.

Mens løftet fra Titan V høres veldig spennende ut, er prispunktet på $ 2999 litt vanskelig å svelge. Men med 10x TFLOPS, bør du kjøpe Titan V i stedet? Er det som å få 10 1080 Ti-er? Eller har du det bedre å kjøpe 4 1080 Ti-er for de samme pengene?

På en sideanmerkning er DGX Station for tiden i salg for $ 49900 (normalt priset til $ 69900). Den leveres med 4 vannkjølte serverklasse Tesla V100-er som er litt bedre spesifikke enn desktop-klasse Titan V (selv om tårnet ser ut BOSS, og jeg antar at det kommer med støtte og SLA.) Men de fleste av oss (pokker, Jeg vedder på at mange universitets- og AI-forskningslaboratorier) ikke har den typen penger å kaste rundt. Selv om du gjorde det, er du ikke sikker på at det gir mye økonomisk mening. BTW, hvis du driver et datasenter, har NVIDIA nylig oppdatert deres EULA for å forby “desktop” grade GeForce og Titan GPUer fra å brukes i datasentre.

Så spørsmålet er, er Titan V verdt det hvis du ønsker å bygge din egen GPU-rigg?

La meg starte med å si at Titan V og storebroren Tesla V100 på serveren er ganske nye. V100 kom ut i mai 2017, og Titan V kom nettopp ut denne måneden (desember 2017.) De fleste av dype læringsrammer har hastet med å legge til Volta-støtte for å sikre at all potensiell ytelse kan utnyttes.

For eksempel har PyTorch først nylig kommet ut med 0.3.0-utgivelsen som legger til støtte for CUDA 9 og Volta GPUer. Jeg har lekt med dette oppsettet, og PyTorch-samfunnet har vært kjempebra (spesielt Soumith Chintala - takk fyr!) Når jeg hjalp meg. Nå som jeg kan kjøre PyTorch på Titan V, har jeg skrevet noen referansekoder for å demonstrere ytelsesforskjeller. Så langt inkluderer resultatene bare resultatene fra PyTorch 0.3.0, men jeg planlegger å legge til resultater for andre rammer også (EDIT: nå inneholder referanseresultatene tallene fra TensorFlow 1.4.0 og Caffe2 0.8.1 også - se lenken for mer informasjon), alt på CUDA 9.0.176 og CuDNN 7.0.0.5, for å jevne ut spillefeltet.

Prestasjonssammenligning av Titan V vs 1080 Ti

Så la oss sjekke ut resultatene ovenfor.
Titan V og 1080 Ti ble sammenlignet head-to-head mot de samme innstillingene (i tillegg er disse kortene begge på 16x PCIE-spor på samme datamaskin.)

Tidspunktnummerene vist ovenfor er for fremoverpass gjennom CNN (“eval”) og fremover og bakoverpass (“tog”), målt i millisekunder. Dette er gjennomsnittlige tall beregnet over 20 pasninger etter noen oppvarmingsløp. Jeg har kjørt dette mange ganger, og disse tallene er ganske stabile.

Interessante poeng å merke seg:

  • Det er klart, at Titan V er raskere enn 1080 Ti. Hvis du bare sammenligner 32-biters (“enkelt” presisjon), er Titan V bare ~ 20% raskere enn 1080 Ti.
  • Titan Vs 16-bits (“halv” presisjon) er ikke-trivielt raskere enn 32-biters motpart. 1080 Ti hadde godt av å gå halvpresisjon, men ytelsesgevinstene er ganske beskjedne sammenlignet med Titan V.

Disse tallene skriker ikke “OH MY GOODNESS TITAN V IS A NO BRAINER.”

Ligger NVIDIA om 10x TFLOPS? Jeg er sikker på at markedsføringsfolket deres er gode ærlige mennesker, men det er flere faktorer som spiller her. For det første er jeg sikker på at det fremdeles er rom for forbedring fra programvaresiden for å hente ut hver bit av Volta sine supersnelle Tensor-kjerner. Men selv da, hvis de fleste kodebaner ikke er i samsvar med betingelsene som tillater maksimal teoretisk ytelse (se noen få regler i "Programmering av tensor kjerner i CUDA 9 av NVIDIA), er det bare så mye du kan gjøre. Tiden vil vise hvor mye forbedringer vi vil se på ramme- / CUDA / CuDNN-nivået for å utnytte Volta GPU-evnene så mye de kan, men de innledende tallene som jeg har observert på populære CNN-er (jeg gjør datavisjonsmaterialer derav hovedsakelig mitt fokus på CNNs) ser ikke ut til å rettferdiggjøre å få en Titan V, spesielt hvis du skulle skaffe deg en slik som programvare spiller inn.

Selv om det er morsomt å leke med den nyeste teknologien og være en tidlig adopter, hvis du er fokusert på å gjøre AI-undersøkelser eller bygge produkter på din personlige GPU-rigg økonomisk, vil jeg foreslå at du kjøper 1080 Ti's fra og med dette skrivet (til NVIDIA kommer ut med et enda bedre alternativ i nær fremtid; de har en tendens til å overraske oss med nye utgivelser.) Tenk også på at en enkelt Titan V bare er 12 GB minne mens 1080 Ti har marginalt mindre minne på 11 GB. Men hvis du kjøper fire av dem for de samme pengene (minst på GPU-er ... trenger du også en kjøligere strømforsyning, hovedkort som kan støtte 4 GPU-er, mer RAM og bedre kjøling så videre), vil du ende opp med mer GPU minne (44 GB vs 12 GB.) Når jeg har sagt at jeg tror en mer praktisk ting å gjøre, hvis du ønsker å få mer enn en GPU, er å få 2x 1080 Ti's. På denne måten trenger ikke GPU-ene å stables rett oppå en annen (mer luftstrøm for avkjøling - når disse kortene termisk gasspådrag, kan du miste ytelsen betydelig ... du kan gjøre vannkjøling, men det gir betydelig kostnad, innsats og litt risiko.) Også med bare to kort er strømtrekket 250Wx2 fra GPU-ene, slik at du kan slippe unna med å ha en billigere strømforsyning. I alle fall synes jeg det er ekstremt verdifullt å ha flere GPU-er og dele eksperimenter på tvers av dem, slik at jeg kan iterere raskt, så dette er det jeg vil anbefale som et godt kompromiss.
Et annet alternativ for å ta opp varmespørsmålet til stablede, luftkjølte GPU-er, hvis du må ha 3–4 av dem, ikke vil vannavkjøle og ikke bry deg om estetikk eller støy, er å få noen PCIE-forlengere / stiger opp og gjør hva denne vinnende Kaggler gjorde:

En 4x 1080 Ti-maskin av Vladimir Iglovikov, en av de vinnende teammedlemmene i Carvana Image Masking Challenge

Jeg håper du synes dette innlegget er nyttig. Gi meg beskjed om det er noen spesielle resultater du vil se på Titan V eller 1080 Ti. Takk for at du leser!