Red Hat RHEL AI 1.3 voegt het Granite 3.0 8b-model toe

RHEL AI vormt een belangrijke pijler voor Red Hat's AI-visie, door de open source-gelicentieerde Granite-modelfamilie en InstructLab-modeluitlijningstools samen te brengen, gebaseerd op de Large-scale Alignment for chatBots (LAB)-methodologie. Deze componenten worden vervolgens verpakt als een geoptimaliseerde, opstartbare Red Hat Enterprise Linux-image voor individuele serverimplementaties overal in de hybride cloud.

Ondersteuning voor Granite 3.0 LLM's

RHEL AI 1.3 breidt Red Hat's toewijding aan Granite LLM's uit met ondersteuning voor Granite 3.0 8b Engelstalige use cases. Granite 3.0 8b is een converged model dat niet alleen Engels ondersteunt, maar ook een dozijn andere natuurlijke talen, codegeneratie en functieaanroepen. Niet-Engelstalige use cases, evenals code en functies, zijn beschikbaar als een developer preview binnen RHEL AI 1.3, met de verwachting dat deze mogelijkheden in toekomstige RHEL AI releases worden ondersteund.

Vereenvoudig de voorbereiding van gegevens met Docling

Docling is onlangs open source gemaakt door IBM Research en is een upstream communityproject dat helpt bij het parseren van algemene documentformaten en deze te converteren naar formaten zoals Markdown en JSON, en deze content voorbereidt voor gen AI-toepassingen en -training. RHEL AI 1.3 integreert deze innovatie nu als een ondersteunde functie, waardoor gebruikers PDF's kunnen converteren naar Markdown voor vereenvoudigde gegevensinvoer voor modelafstemming met InstructLab.

Via Docling bevat RHEL AI 1.3 nu ook contextbewuste chunking, die rekening houdt met de structuur en semantische elementen van de documenten die worden gebruikt voor gen AI-training. Dit helpt resulterende gen AI-toepassingen om betere niveaus van coherentie en contextueel passende antwoorden op vragen en taken te behouden, die anders verdere afstemming en uitlijning zouden vereisen.

Toekomstige RHEL AI-releases blijven Docling-componenten ondersteunen en verfijnen, inclusief aanvullende documentformaten en integratie voor RAG-pipelines (retrieval-augmented generation) naast InstructLab-kennisafstemming.

Verbreding van het gen AI-ecosysteem

Keuze is een fundamenteel onderdeel van de hybride cloud en met gen AI als een kenmerkende workload voor hybride omgevingen, moet deze optionaliteit beginnen met de onderliggende chiparchitecturen. RHEL AI ondersteunt al toonaangevende accelerators van NVIDIA en AMD, en de 1.3-release bevat nu Intel Gaudi 3 als een technologische preview.

Naast chiparchitectuur wordt RHEL AI ondersteund door grote cloudproviders, waaronder AWS, Google Cloud en Microsoft Azure consoles als een "bring your own subscription" (BYOS)-aanbod. Het platform is binnenkort ook beschikbaar als een geoptimaliseerde en gevalideerde oplossingsoptie op Azure Marketplace en AWS Marketplace.

RHEL AI is beschikbaar als een geprefereerd basismodelplatform op versnelde hardwareaanbiedingen van Red Hat-partners, waaronder Dell PowerEdge R760xa-servers en Lenovo ThinkSystem SR675 V3-servers .

Verbeteringen in modelserving met Red Hat OpenShift AI

Omdat gebruikers de service van LLM's willen opschalen, ondersteunt Red Hat OpenShift AI nu parallelle service over meerdere knooppunten met vLLM-runtimes, wat de mogelijkheid biedt om meerdere verzoeken in realtime te verwerken. Red Hat OpenShift AI stelt gebruikers ook in staat om de parameters van een LLM dynamisch te wijzigen wanneer deze wordt geserveerd, zoals het sharden van het model over meerdere GPU's of het kwantificeren van het model naar een kleinere footprint. Deze verbeteringen zijn gericht op het versnellen van de responstijd voor gebruikers, het verhogen van de klanttevredenheid en het verlagen van churn.

Ondersteuning van Red Hat AI

RHEL AI, samen met Red Hat OpenShift AI, vormt Red Hat AI, Red Hat's portfolio van oplossingen die de time-to-market versnellen en de operationele kosten van het leveren van AI-oplossingen in de hybride cloud verlagen. RHEL AI ondersteunt individuele Linux-serveromgevingen, terwijl Red Hat OpenShift AI gedistribueerde Kubernetes-platformomgevingen aanstuurt en geïntegreerde machine-learning operations (MLOps)-mogelijkheden biedt. Beide oplossingen zijn compatibel met elkaar, waarbij Red Hat OpenShift AI alle mogelijkheden van RHEL AI zal integreren om op schaal te worden geleverd.

Beschikbaarheid

RHEL AI 1.3 is nu algemeen beschikbaar. Meer informatie over extra functies, verbeteringen, bugfixes en hoe u kunt upgraden naar de nieuwste versie vindt u hier .