Microsoft stelt Managed Retention Memory voor AI-werkbelastingen

AI-clusters zijn tegenwoordig een van de belangrijkste toepassingen van High Bandwidth Memory (HBM). HBM is echter om verschillende redenen niet optimaal voor AI-workloads. Analyse toont aan dat HBM overprovisioned is op schrijfprestaties, maar onderprovisioned op dichtheid en leesbandbreedte, en ook aanzienlijke overheadkosten per bit heeft. Het is ook duur, met een lagere opbrengst dan DRAM vanwege de complexiteit van de productie, aldus Microsoft: "We stellen een nieuwe geheugenklasse voor: Managed-Retention Memory (MRM), dat meer is geoptimaliseerd om belangrijke gegevensstructuren op te slaan voor AI-inferentieworkloads. We geloven dat MRM eindelijk een pad naar levensvatbaarheid kan bieden voor technologieën die oorspronkelijk werden voorgesteld om Storage Class Memory (SCM) te ondersteunen. "

Deze technologieën boden traditioneel langdurige persistentie (10+ jaar), maar leverden slechte IO-prestaties en/of duurzaamheid aldus Microsoft: "MRM maakt verschillende afwegingen en door de IO-patronen van de workload te begrijpen, doet MRM afstand van langdurige gegevensretentie en schrijfprestaties voor betere potentiële prestaties op de statistieken die belangrijk zijn voor deze workloads."