Snowflake lanceert Arctic: een enterprise-grade Large Language Model

Dankzij de Mixture-of-Experts (MoE) architectuur, levert Arctic top-tier intelligentie met ongeëvenaarde efficiëntie op schaal. Het is geoptimaliseerd voor complexe enterprise-workloads en overtreft verschillende industrie-benchmarks op het gebied van SQL-codegeneratie, het volgen van instructies, en nog veel meer. Bovendien geeft Snowflake de Arctic-weights vrij onder een Apache 2.0-licentie én de details van het onderzoek dat heeft geleid tot hoe het model is getraind. Hiermee wordt een nieuwe standaard op het gebied van openheid voor enterprise AI-technologie gezet. Het Snowflake Arctic LLM is een onderdeel van de Snowflake Arctic-modelfamilie, dit is een familie van modellen gebouwd door Snowflake die ook het beste praktische tekstinvoegmodel bevatten.

“Dit is een keerpunt voor Snowflake, met ons AI-onderzoeksteam dat innoveert in de voorhoede van AI,” zegt Sridhar Ramaswamy, CEO van Snowflake. “Door het leveren van toonaangevende intelligentie en efficiëntie op een open manier aan de AI-gemeenschap, verleggen we de grenzen van wat open source AI kan doen. Onderzoek met Arctic zal ons vermogen om betrouwbare, efficiënte AI te leveren aan onze klanten aanzienlijk vergroten."

Open, breed beschikbare samenwerking

Volgens een recent Forrester-rapport van Forrester heeft ongeveer 46 procent van de AI-beslissers in bedrijven wereldwijd opgemerkt dat ze gebruikmaken van bestaande open source LLM's om generatieve AI te gebruiken als onderdeel van de AI-strategie van hun organisatie.¹ Met Snowflake als datafundament voor meer dan 9.400 bedrijven en organisaties over de hele wereld², stelt het alle gebruikers in staat om hun data te benutten met toonaangevende open LLM's, terwijl het hen flexibiliteit en keuze biedt met welke modellen ze werken.

Met de lancering van Arctic levert Snowflake een krachtig, echt open model met een Apache 2.0-licentie die onbeperkt persoonlijk, onderzoeks- en commercieel gebruik toestaat. Snowflake gaat nog een stap verder en biedt ook code-templates en flexibele inferentie- en trainingsopties, zodat gebruikers snel aan de slag kunnen met het implementeren en aanpassen van Arctic met behulp van de frameworks van hun voorkeur. Deze bevatten NVIDIA NIM met NVIDIA TensorRT-LLM, vLLM en Hugging Face. Voor direct gebruik, is Actic beschikbaar voor serverloze inferentie in Snowflake Cortex, Snowflake’s volledig beheerde service dat machine learning en AI-oplossingen in de Data Cloud biedt. Dit zal ook beschikbaar zijn op Amazon Web Services (AWS), naast andere model gardens en catalogi, die onder meer Hugging Face, Lamini, Microsoft Azure, NVIDIA API catalog, Perplexity, en Together AI omvatten.

Efficiënt gebruik van resources

Snowflake's AI-onderzoeksteam, bestaande uit een unieke samenstelling van toonaangevende onderzoekers en system engineers, had minder dan drie maanden nodig en spendeerde grofweg een achtste van de trainingskosten van vergelijkbare modellen bij het bouwen van Arctic. Getraind door Amazon Elastic Compute Cloud (Amazon EC2) P5-instanties. Snowflake zet hiermee een nieuwe basisniveau voor hoe snel state-of-the-art open, enterprise-grade modellen kunnen worden getraind, waardoor gebruikers uiteindelijk kostenefficiënte aangepaste modellen op schaal kunnen maken.

Als onderdeel van deze strategische inspanning verbetert het gedifferentieerde MoE-ontwerp van Arctic zowel de trainingssystemen als de modelprestaties, met een zorgvuldig ontworpen datasamenstelling die is gericht op de enterprise-behoeftes. Arctic levert ook resultaten van hoge kwaliteit, waarbij 17 van de 480 miljard parameters tegelijk worden geactiveerd om toonaangevende kwaliteit te bereiken met een ongekende tokenefficiëntie. Voor een doorbraak in efficiëntie activeert Arctic ruwweg 50 procent minder parameters dan DBRX en 75 procent minder dan Llama 3 70B tijdens inferentie of training. Daarnaast presteert het beter dan toonaangevende open modellen, waaronder DBRX, Llama 2 70B, Mixtral-8x7B en meer in codering (HumanEval+, MBPP+) en SQL-generatie (Spider), terwijl het tegelijkertijd toonaangevende prestaties levert in algemeen taalbegrip (MMLU).

AI-innovatie

Snowflake blijft bedrijven voorzien van de datafundament en geavanceerde AI-bouwstenen die ze nodig hebben om krachtige AI- en machine learning-apps te maken met hun bedrijfsdata. Wanneer Arctic wordt gebruikt in Snowflake Cortex, kunnen klanten sneller productieklare AI-apps op schaal bouwen, binnen de beveiligings- en beheerperimeter van de Data Cloud.

Naast de Arctic LLM omvat de Snowflake Arctic-familie ook de onlangs aangekondigde Arctic embed, een familie van state-of-the-art tekstinbeddingsmodellen die beschikbaar is voor de open source community onder een Apache 2.0 licentie. De familie van vijf modellen is beschikbaar op Hugging Face voor onmiddellijk gebruik en is binnenkort beschikbaar als onderdeel van de Snowflake Cortex embed-functie (in private preview). Deze inbeddingsmodellen zijn geoptimaliseerd om toonaangevende retrievalprestaties te leveren bij ruwweg een derde van de grootte van vergelijkbare modellen. Hierdoor hebben organisaties een krachtige en kosteneffectieve oplossing bij het combineren van eigen datasets met LLM's als onderdeel van een Retrieval Augmented Generation of semantische zoekservice.

Snowflake geeft ook prioriteit aan het verlenen van toegang tot de nieuwste en meest krachtige LLM’s in de Data Cloud, inclusief de recente toevoegingen van Reka en Mistral AI’s-modellen. Bovendien, kondigde Snowflake recent een uitgebreide samenwerking aan met NVIDIA om door te blijven gaan met AI-innovatie. Het full-stack NVIDIA accelerated platform wordt samengebracht met Snowflake's Data Cloud om een veilige en formidabele combinatie van infrastructuur en compute-mogelijkheden te leveren om AI-productiviteit te ontsluiten.

Snowflake Ventures heeft onlangs ook geïnvesteerd in onder meer LandingAI, Mistral AI en Reka om Snowflake's toewijding aan het helpen van klanten om waarde te creëren uit hun bedrijfsdata met LLM's en AI te vergroten.