Gartner-analist Nader Henein: ‘Generatieve augments kunnen zakelijke potentie LMM waarmaken’

Nader Henein, Gartner.

Generatieve AI-toepassingen voor het bedrijfsleven kunnen veel voordelen bieden, mits goed ingevoerd. En daar gaat het nu nog vaak mis. “Als je als organisatie op grote schaal AI-toepassingen inzet zoals nu gebeurd met ChatGPT of Bard, dan moet je het gebruik ervan heel goed begeleiden en stimuleren. Het is een dure business, en als het gebruik beperkt of niet consistent is, dan is je ROI dus slecht.”

De tweede horde is het soort prompt (de gestelde vraag). Als die niet goed toegesneden is op wat een werknemer zoekt qua informatie, zijn de antwoorden vaak weinig waardevol. Het gevolg: de IT-helpdesk wordt overstroomd met klachten over stomme, hallucinante of nutteloze antwoorden. Je zult mensen dus vooraf goed moeten trainen in het stellen van de juiste vragen, of tijd en geld moeten investeren in metaprompting. Daarbij zet je natuurlijke taalverwerking (natural language processing) in om de AI-toepassing in te stellen hoe juist te reageren op vragen die misschien vaag of onvolledig zijn. “Heel lastig en heel duur”, stelt Henein.

De VP analist van Gartner voegt daar aan toe dat als het niet goed gebeurt, gebruikers van een LMM-toepassing al snel gefrustreerd zullen raken. “Als mensen niet de gewenste antwoorden krijgen, of te lang moeten wachten, krijg je hetzelfde probleem: het gebruik keldert snel en je ROI gaat het raam uit.” Sowieso, als je de toepassing alleen gebruikt als een veredelde zoekmachine, zal je ROI hoe dan ook zeer beperkt van aard zijn.

Teleurstelling

Kortom, gewoon een generieke AI-toepassing invoeren en hopen dat het wat gaat opleveren, zal met zekerheid leiden tot teleurstellingen. Voeg daaraan toe dat een chat-achtige interface een hele slechte manier is om een werknemer te ondersteunen en je hebt een recept voor een mislukking.

“Die interface is heel belangrijk. Wanneer je generative AI aanbiedt via chat, moet een medewerker veel acties ondernemen. Kijk naar Copilot. Je moet eerst verlaten waar je mee bezig bent, een vraag invoeren, en het antwoord vervolgens overnemen in bijvoorbeeld de analyse waar je mee bezig bent. Ook als je verbaal een vraag kan stellen, zitten er nog extra handelingen in die de workflow onderbreken." Zo’n toepassing, stelt Henein, is niet afgestemd op gebruikersbehoeften.

Generatieve augments

Dit is waar micro-apps – bij Gartner inmiddels omgedoopt tot generatieve verbeteringen (generative augments) – een belangrijke verbetering kunnen aanbrengen. Dit soort kleine, op specifieke doelen gerichte interfaces, kunnen proactief en intuïtief hun gebruikers ondersteunen bij het vinden van extra informatie om daarmee hun werk te versnellen of verbeteren.

“Om mezelf als voorbeeld te nemen: wanneer ik aan een analyse werk, kan de augment middels toegang tot alle Gartner-onderzoeken ooit gemaakt bepalen of het nuttig is een alinea of paragraaf te verrijken met informatie uit zo’n onderzoek. Hij kan dan het LLM-model dat we gebruiken, vragen of er relevant onderzoek of statistische data zijn die mijn conclusies ondersteunt of juist weerspreken. Het kan die informatie vervolgens als een soort commentaren in de zijlijn toevoegen, alsof het bezig is met een peer review. Dat is wat een echte copiloot zou zijn: samenwerken met de piloot, niet wachten tot hij een vraag krijgt en daarop reageren.”

Voordelen zijn verder dat zo’n generative augment voor specifieke doelen ontwikkeld is, dus alleen binnen bepaalde raamwerken gaat zoeken naar antwoorden. Dit beperkt ook de kans op hallucinaties, het werkt veel meer in lijn met de gebruikersbehoeften, en toegangscontrole wordt eenvoudiger omdat je meer grip hebt op de data waartoe bepaalde gebruikers toegang hebben.

Overbruggen talentkloof

Bovendien kun je, als je genoeg van dit soort entry level augments hebt, ook problemen beperken als een te gering aantal mensen met de juiste vaardigheden. Zeg maar: het overbruggen van de groeiende talentkloof. Henein: “Nu moet je bijvoorbeeld een computer scientist aannemen om de juiste data te vinden, omdat alleen die daarvoor de gewenste talenten heeft in combinatie met de gewenste wetenschappelijke achtergrond. Maar als je augments hebt die deze data ook kunnen vinden, kun je ook een wetenschapper huren zonder achtergrond van hoe die data via een AI-toepassing te vinden.”

Kortom, generative augments kunnen op diverse niveaus op korte en langere termijn de potentie realiseren die generative AI biedt: nieuwe werknemers bereiken sneller hun optimale productiviteit, de mate van aanleg voor een bepaalde functie kan lager liggen, zodat je meer mensen op zo’n functie kan inzetten; de productiviteit en kwaliteit van werk kan sterk toenemen. Je kunt saaie, repetitieve taken wegnemen.

“Een augment is echt een waardevolle toevoeging. Zo kunnen ze mensen helpen om informatie te vinden waar ze zelf wellicht nooit aan gedacht hadden. Ik als Gartner-analist kan nooit al het onderzoek kennen dat we ooit gemaakt hebben, of elk stukje statistische data, en vervolgens bepalen of het past bij een analyse of nieuw onderzoek waar ik mee bezig ben. Die toegevoegde waarde is enorm.”

Theorie versus realiteit

Hoe gaat het met theorie versus realiteit? “Ik heb inmiddels zo’n 13 klanten die begonnen zijn met het toepassen van generatieve augments. Het werkt voor hen vele malen beter dan gewoon een LLM-toepassing de organisatie in gooien en afwachten wat het oplevert. Zo’n uitrol beperkt het aantal risico’s, zoals verspreiding van informatie op een manier die je niet wil, een slechte ROI. Augments zijn simpel uit te rollen, als een browser-extentie, beter te beheren en makkelijker bij te sturen. Het is dus heel bedrijfs- en gebruikersvriendelijk.”

Er zal zeker nog een rol zijn voor meer algemene LLM-toepassingen zoals ChatGPT, Bard of Co-Pilot, door Henein omschreven als ‘general purpose augments’. Maar generative, specific purpose augments kunnen bedrijven helpen om veel meer waarde te halen uit hun data, in relatie tot waar werknemers mee bezig zijn. Specifiek voor een bepaalde sector, zoals bancaire dienstverlening, of een bepaalde discipline, zoals HRM.

Zelf doen of uitbesteden

Moeten bedrijven de ontwikkeling van deze augments zelf in de hand nemen, of het vooral uitbesteden? Een beetje van beiden, meent Henein. “Enterprise-ondernemingen die met Azure Open AI werken, hebben over het algemeen de capaciteit om zelf generatieve augments te ontwikkelen. Maar we zien ook steeds meer softwareontwikkelaars die hier een enorme kans zien, omdat zij op grotere schaal voor meer partijen vergelijkbare augments kunnen ontwikkelen, wat de kosten dempt per bedrijf. Bovendien kunnen zij ervaringen van meerdere klanten meenemen in de doorontwikkeling van een augment, terwijl een bedrijf dat dit op eigen houtje doet, minder grip heeft op hoe gebruikers zullen reageren.”

Henein benadrukt dat we nog echt aan het begin staan van deze ontwikkeling. “Ik heb nu een paar dozijn klanten die op dit gebied bezig zijn. Nu zijn het vooral nog hele gerichte generatieve augments die specifieke werknemers in specifieke taken ondersteunen. Op basis van opgebouwde ervaring kun je zo betere augments ontwikkelen, of augments die leren van ervaringen en ‘over je schouder meekijkend’ leren van wat gebruikers nodig hebben. Uiteindelijk kunnen augments zo echte persoonlijke assistenten worden voor een werknemer, in de letterlijke zin van het woord.”

1 AI hallucinaties: een generatieve AI-toepassing kan niet beredeneren of wat hij als antwoord geeft, logisch is, inconsistent of gewoon onzin. Wanneer een AI-toepassing een antwoord geeft dat bijvoorbeeld vol valse informatie zit, om daarmee aan je vraag te voldoen, is er sprake van een AI hallucinatie.