Google Cloud introduceert nieuwe A4 VM's met NVIDIA Blackwell GPU's voor AI

Deze aankondiging, gedaan door George Elissaios en Roy Kim van Google Cloud, markeert een significante verbetering in de mogelijkheden voor het trainen, finetunen en gebruiken van geavanceerde AI-modellen.

De A4 VM's zijn uitgerust met acht Blackwell GPU's die met elkaar verbonden zijn door de vijfde generatie NVIDIA NVLink. Dit zorgt voor een aanzienlijke prestatieverbetering ten opzichte van de vorige generatie A3 High VM's. Elke GPU biedt 2,25 keer de piekcompute en 2,25 keer de HBM-capaciteit, waardoor de A4 VM's geschikt zijn voor een breed scala aan modelarchitecturen en tevens ideaal zijn voor het bedienen van modellen met lage latency.

Integratie met Google Cloud innovaties

Google Cloud integreert de Blackwell GPU's met zijn eigen infrastructuurinnovaties, wat resulteert in een optimale cloud-ervaring. Enkele belangrijke kenmerken zijn:

• Verbeterd netwerk: A4 VM's zijn gebouwd op servers met de Titanium ML-netwerkadapter, geoptimaliseerd voor AI-workloads. In combinatie met het datacenterbrede 4-rail netwerk leveren A4 VM's 3,2 Tbps aan GPU-naar-GPU-verkeer.
• Google Kubernetes Engine (GKE): A4 VM's zijn native geïntegreerd met GKE, het meest schaalbare en volledig geautomatiseerde Kubernetes-platform.
• Vertex AI: A4 VM's zijn toegankelijk via Vertex AI, Google's platform voor het ontwikkelen en gebruiken van generatieve AI.
• Open software: Google Cloud werkt samen met NVIDIA om JAX en XLA te optimaliseren en biedt geoptimaliseerde modelconfiguraties en voorbeeldscripts.
• Hypercompute Cluster: Dit nieuwe clustering systeem stroomlijnt het beheer van grote AI-supercomputers.
• Flexibele consumptiemodellen: Naast de bestaande modellen biedt Google Cloud nu Dynamic Workload Scheduler, met Flex Start en Calendar modi, specifiek voor AI-workloads.

Klantcase: Hudson River Trading

Hudson River Trading, een kwantitatief handelsbedrijf, zal de A4 VM's gebruiken om hun volgende generatie modellen te trainen. De verbeterde interconnectiviteit en het high-bandwidth geheugen van de A4 VM's zijn ideaal voor de veeleisende datasets en algoritmen die zij gebruiken.

NVIDIA over de samenwerking

Ian Buck, VP en General Manager van Hyperscale en HPC bij NVIDIA, is enthousiast over de voortzetting van de samenwerking met Google Cloud en de mogelijkheden die de Blackwell architectuur biedt voor de AI-industrie.

Hypercompute Cluster voor grootschalige AI

Hypercompute Cluster is speciaal ontworpen om de complexiteit van het schalen van AI-modeltraining over duizenden VM's te vereenvoudigen. Het biedt hoge prestaties, geoptimaliseerde resourceplanning, verhoogde betrouwbaarheid, verbeterde monitoring en geautomatiseerde provisioning en scaling.

Beschikbaarheid

De A4 VM's met NVIDIA Blackwell GPU's zijn nu beschikbaar in preview. Geïnteresseerde bedrijven kunnen contact opnemen met hun Google Cloud vertegenwoordiger voor meer informatie. Google Cloud biedt ook $300 aan gratis tegoed voor nieuwe klanten om de infrastructuur te testen.