IBM breidt Granite modelfamilie uit

Alle Granite 3.2-modellen zijn beschikbaar onder de permissieve Apache 2.0-licentie op Hugging Face. Bepaalde modellen zijn vandaag beschikbaar op IBM watsonx.ai, Ollama, Replicate en LM Studio, en worden binnenkort verwacht in RHEL AI 1.5, waarmee geavanceerde mogelijkheden worden geboden aan bedrijven en de open-sourcecommunity. 

Hoogtepunten zijn onder meer:

Een nieuw vision language model (VLM) voor documentbegripstaken dat prestaties laat zien die gelijk zijn aan of beter zijn dan die van aanzienlijk grotere modellen – Llama 3.2 11B en Pixtral 12B – op de essentiële enterprise benchmarks DocVQA, ChartQA, AI2D en OCRBench. Naast robuuste trainingsgegevens gebruikte IBM zijn eigen open-source Docling toolkit om 85 miljoen PDF's te verwerken en genereerde 26 miljoen synthetische vraag-antwoordparen om de mogelijkheid van de VLM om complexe documentintensieve workflows te

ken te verbeteren.

Chain of thought -mogelijkheden voor verbeterd redeneren in de 3.2 2B- en 8B- modellen , met de mogelijkheid om redeneren in of uit te schakelen om de efficiëntie te optimaliseren. Met deze mogelijkheid behaalt het 8B- model dubbele cijfers aan verbeteringen ten opzichte van zijn voorganger in instructie-volgende benchmarks zoals ArenaHard en Alpaca Eval zonder degradatie van veiligheid of prestaties elders. Bovendien kan het Granite 3.2 8B -model met behulp van nieuwe inferentieschaalmethoden worden gekalibreerd om te wedijveren met de prestaties van veel grotere modellen zoals Claude 3.5 Sonnet of GPT-4o op wiskundige redeneerbenchmarks zoals AIME2024 en MATH500.

Afgeslankte maatopties voor Granite Guardian- veiligheidsmodellen die de prestaties van eerdere Granite 3.1 Guardian-modellen behouden met 30% reductie in grootte. De 3.2-modellen introduceren ook een nieuwe functie genaamd verbalized confidence, die een genuanceerdere risicobeoordeling biedt die rekening houdt met dubbelzinnigheid in veiligheidsbewaking.

Salesforce

De strategie van IBM om kleinere, gespecialiseerde AI-modellen voor ondernemingen te leveren, blijft zijn effectiviteit bewijzen in tests. Zo scoorde het Granite 3.1 8B -model onlangs hoge scores op nauwkeurigheid in de Salesforce LLM Benchmark voor CRM .

De Granite-modelfamilie wordt ondersteund door een robuust ecosysteem van partners, waaronder toonaangevende softwarebedrijven die de LLM's in hun technologieën integreren.

"Bij CrushBank hebben we met eigen ogen gezien hoe IBM's open, efficiënte AI-modellen echte waarde leveren voor enterprise AI – door de juiste balans te bieden tussen prestaties, kosteneffectiviteit en schaalbaarheid," aldus David Tan , CTO, CrushBank. "Granite 3.2 gaat nog een stap verder met nieuwe redeneermogelijkheden, en we zijn enthousiast om deze te verkennen bij het bouwen van nieuwe agentische oplossingen."

Redenering

Granite 3.2 is een belangrijke stap in de evolutie van IBM's portfolio en strategie om kleine, praktische AI ​​voor ondernemingen te leveren. Hoewel chain of thought-benaderingen voor redeneren krachtig zijn, vereisen ze aanzienlijke rekenkracht die niet voor elke taak nodig is. Daarom heeft IBM de mogelijkheid geïntroduceerd om chain of thought programmatisch in of uit te schakelen. Voor eenvoudigere taken kan het model zonder redenering werken om onnodige rekenkracht te verminderen. Bovendien hebben andere redeneertechnieken zoals inferentieschaling aangetoond dat het Granite 3.2 8B -model de prestaties van veel grotere modellen op standaard wiskundige redeneerbenchmarks kan evenaren of overtreffen. Evoluerende methoden zoals inferentieschaling blijven een belangrijk aandachtsgebied voor IBM's onderzoeksteams. 

Naast Granite 3.2 instruct, vision en guardrail modellen, brengt IBM de volgende generatie van zijn TinyTimeMixers (TTM) modellen uit (sub 10M parameters), met mogelijkheden voor langetermijnprognoses tot twee jaar in de toekomst. Deze vormen krachtige tools voor langetermijntrendanalyse, waaronder financiële en economische trends, vraagprognoses in de toeleveringsketen en seizoensgebonden voorraadplanning in de detailhandel.

"Het volgende tijdperk van AI draait om efficiëntie, integratie en impact in de echte wereld, waarbij ondernemingen krachtige resultaten kunnen behalen zonder buitensporige uitgaven aan rekenkracht", aldus Sriram Raghavan , VP, IBM AI Research. "De nieuwste Granite-ontwikkelingen van IBM richten zich op open oplossingen en tonen een nieuwe stap voorwaarts in het toegankelijker, kosteneffectiever en waardevoller maken van AI voor moderne ondernemingen."

Wilt u meer weten over Granite 3.2? Lees dan dit technische artikel.