Red Hat OpenShift AI heeft nieuwe versie

Volgens IDC zal meer dan 40% van de IT-uitgaven van Forbes Global 2000-bedrijven naar AI-initiatieven gaan. Daarnaast verwacht IDC dat bedrijven met generatieve AI (Gen AI) en automatiseringstechnologieën tegen 2026 $1 biljoen aan productiviteitswinst kunnen realiseren. Red Hat voorziet dat deze investeringen vragen om een robuust platform dat de levenscyclus van AI/ML-modellen kan beheren en Gen AI-applicaties kan inzetten naast bestaande workloads binnen de hybride cloud.

De belangrijkste features in OpenShift AI 2.15:

Modelregistratie: centraal beheer voor het delen, versiebeheer en tracken van Gen AI-modellen, inclusief meerdere modelregistraties. Red Hat heeft het project geschonken aan de Kubeflow-community.

Data drift-detectie: voortdurende monitoring van inputdata om afwijkingen te detecteren tussen trainingsdata en live data, wat de betrouwbaarheid en nauwkeurigheid van modellen verhoogt.

Bias detectie: tools om eerlijkheid en transparantie in modellen te bewaken – essentieel voor vertrouwen in AI en afkomstig uit de TrustyAI-gemeenschap.

Efficiënte fine-tuning met LoRA: gebruik van low-rank adapters (LoRA) voor efficiëntere afstemming van LLM’s om kosten en middelen te besparen.

Ondersteuning voor NVIDIA NIM: versnelt de levering van Gen AI-toepassingen via eenvoudig te gebruiken interface-microservices die zijn geïntegreerd in het NVIDIA AI Enterprise-platform.

AMD GPU-ondersteuning: biedt nieuwe opties voor modelontwikkeling, -serving, -training en -tuning met AMD GPU’s. Dit is ideaal om de prestaties van intensieve rekenprocessen te verbeteren.

Verbeterde model serving

Red Hat OpenShift AI 2.15 tilt Gen AI model serving naar een hoger niveau met nieuwe functies zoals vLLM-runtime voor KServe en ondersteuning voor KServe Modelcars. Dit betekent dat Open Container Initiative (OCI)-repositories nu gebruikt kan worden om gecontaineriseerde modellen eenvoudig op te slaan en te beheren. Daarnaast zorgt keuzevrijheid tussen private en public routes voor endpoints in KServe ervoor dat organisaties de beveiliging van hun modellen kunnen verbeteren door ze te richten op interne endpoints.

Uitgebreide AI training en experimentatie

De nieuwste OpenShift AI-update versterkt data science-pijplijnen en experiment tracking met slimme verbeteringen. Hyperparameter tuning via Ray Tune verhoogt de nauwkeurigheid en versnelt het trainen van voorspellende en Gen AI-modellen. Dankzij de toevoeging van basiscontainerimages voor Ray-clusters kunnen trainings- en tuningtaken efficiënt worden verdeeld over meerdere workloads in een cluster. Dit versnelt niet alleen de verwerkingstijd, maar maximaliseert ook het gebruik van beschikbare nodes.

Beschikbaarheid

Red Hat OpenShift AI 2.15 is medio november 2024 beschikbaar.