Zoho Corporation gaat NVIDIA NeMo gebruiken om LLM’s te bouwen

Ramprakash Ramamoorthy, Director of AI bij Zoho Corporation, licht toe: “Veel van de huidige LLM’s zijn gericht op consumenten en bieden weinig meerwaarde voor bedrijven. Het is onze missie om LLM’s te ontwikkelen die zijn afgestemd op een breed scala aan zakelijke use cases. Omdat we onze technologiestack zelf in beheer hebben, kunnen we het essentiële element integreren dat AI echt effectief maakt: context.”

Zoho stelt de privacy van gebruikers centraal bij het ontwikkelen van modellen die van meet af aan voldoen aan internationale privacywetgeving, in plaats van deze later aan te passen. Het bedrijf wil organisaties helpen om snel en efficiënt rendement (ROI) te behalen door gebruik te maken van de volledige NVIDIA AI-softwarestack en accelerated computing (versnelde rekenkracht). Hierdoor neemt de verwerkingscapaciteit toe en de latency af.

Zoho ontwikkelt al meer dan tien jaar zijn eigen AI-technologie. Het integreert deze contextueel in zijn brede portfolio van meer dan 100 producten in de divisies ManageEngine en Zoho. Zijn benadering van AI is multi-modal, gericht op het verkrijgen van contextuele intelligentie die gebruikers helpt bij het nemen van zakelijke beslissingen. Het bedrijf bouwt kleine en middelgrote language models, waardoor modellen van verschillende grootte gebruikt kunnen worden om betere resultaten te bieden en ook bedrijven zonder grote hoeveelheden data kunnen profiteren van AI. Privacy is een kernwaarde in Zoho's AI-strategie, en de LLM-modellen worden niet getraind met klantgegevens.

AI Software

“Doordat bedrijven kunnen kiezen uit verschillende AI-modelgroottes kunnen ze hun AI-oplossingen precies afstemmen op hun behoeften, met de juiste balans tussen prestaties en kosten”, zegt Vishal Dhupar, Managing Director, Asia South bij NVIDIA. “Met NVIDIA's AI-software en het accelerated computing platform bouwt Zoho een breed scala aan modellen om aan de diverse behoeften van zakelijke klanten te voldoen.”

Dankzij deze samenwerking versnelt Zoho zijn LLM's op het NVIDIA-platform met NVIDIA Hopper GPU's. Het gebruikt het NVIDIA NeMo end-to-end platform voor het ontwikkelen van generatieve AI op maat, inclusief LLM's, multimodal AI en spraak- en beeldherkenning. Bovendien test Zoho NVIDIA TensorRT-LLM om de prestaties van zijn LLM's te optimaliseren en heeft al 60 procent hogere doorvoer en 35 procent lagere latency behaald in vergelijking met een eerder gebruikt opensourceframework. Daarnaast versnelt het bedrijf ook andere activiteiten, zoals spraak-naar-tekst met de NVIDIA accelerated computing infrastructure.